原始数据
贡献者:xqh0813 浏览:2883次 创建时间:2009-08-20
-
并不是所有的原始数据都能成为信息,数据成为信息还要经过筛选、组织然后按照一定的格式进行整理才能成为信息。比如,超市里的POS机每天都会收集到大量的原始数据,但是,如果不经过处理,这些数据并不能产生什么信息。经过处理之后的超市数据可以显示出很多情况,比如客户喜欢购买什么东西,客户通常逛超市的时间以及他们购买物品的价格范围等等,这就是信息。这种信息可以用于预测技术,进而制定商业计划,最终赢得市场。
经过处理之后,原始数据会生成一个数据库,数据库中的信息可以用来进一步的处理,经过分析之后,可以用于多种用途。
源数据抽取优化的问题
运行完session后,查看log,发现源数据读取的吞吐量仅为几百条左右,察看详细的session log发现,整个etl过程瓶颈在于源数据的读取,
如果在TOAD中直接运行数据源的sql查询发回所有记录只需4秒钟左右,这是怎么回事?可不可以优化?
SESSION LOG:
***** RUN INFO FOR TGT LOAD ORDER GROUP 【2】, SRC PIPELINE 【1】 *****
MASTER> PETL_24018 Thread 【READER_2_1_1】 created for the read stage of partition point 【SQ_BOM】 has completed: Total Run Time = 【195.091525】 secs, Total Idle Time = 【0.000000】 secs, Busy Percentage = 【100.000000】.
MASTER> PETL_24019 Thread 【TRANSF_2_1_1_1】 created for the transformation stage of partition point 【SQ_BOM】 has completed: Total Run Time = 【193.616721】 secs, Total Idle Time = 【180.455230】 secs, Busy Percentage = 【6.797704】.
MASTER> PETL_24022 Thread 【WRITER_2_1_1】 created for the write stage of partition point(s) 【BOM】 has completed: Total Run Time = 【135.793892】 secs, Total Idle Time = 【135.682443】 secs, Busy Percentage = 【0.082072】.
开放分类
参考资料
贡献者
本词条在以下词条中被提及:
关于本词条的评论共:(0条)