ITeye博客

lychee_cao的博客

lychee_cao · 共 10 篇文章

数据仓库

数据仓库领域的几大领军人物 --转自数据仓库之路 数据仓库其实算来是个比较新的领域,国内真正的数据仓库估计都是2000年以后简历的,而且不是很成熟。目前从市场占有率上来说,主要有oracle,IBM,Teradata,Microsoft SQL server,sybase,CA等,还有很多其他厂商。其中四大厂商oracle,IBM,Microsoft SQL server,Teradata就占据半壁江山。但是从数据仓库的引擎效率来看,teradata是其他厂商望城莫及的,无论是欧美、日本,还是国内,越来越多的电信、金融、证券、零售巨头选择了它,特别是处理10TB级以上至PB级的数据,只能用T…

2010-05-05 09:52 · 评论(0)

datastage 相关笔记

在load的时候去掉sequential file的header和footer 今天在论坛看到的方法,先记录下来: 方法一: 在sequential file stage中有个属性可以ignore第一行。对于footer,如果footer使用了与正文不同的格式,可以用使用transformer stage和 @INROWNUM stage来将footer去掉。 方法二: 在sequential file的filter option中使用sed -e '$d' -e '1d'来讲header和footer去掉。 方法三: 写个before job subroutine,可以先对这个文件做各种处…

2010-04-26 14:37 · 评论(1)

oracle 删除重复数据的3种方法

删除重复数据的3种方法 今天google分析函数row_number()的时候发现的,觉得很好: 表demo是重复拷贝自dba_objects,有88万左右,不重复的是27323,没有索引 方法一:delete from demo a where a.rowid <> (select max(rowid) from demo b where b.object_id=a.object_id); 耗时:几个小时以上 方法二: delete from demo where rowid in (select rid from (select rowid rid,row_number() over(p…

2010-04-26 14:23 · 评论(0)

python 数据库模块

http://www.cnblogs.com/czh-liyu/archive/2008/04/22/1165213.html http://blog.chinaunix.net/u2/84280/article_105390.html http://wiki.woodpecker.org.cn/moin/DatabaseModules#head-61b646798c2c5b20be1a1061527d51c96130b776 Connecting Python to Teradata over ODBC: http://blog.chinaunix.net/u2/84280/article…

2009-12-10 13:46 · 评论(0)

python 十进制转换十六进

Python 調用Python內置int()函数把該字串轉為數字。以下為在Python解释器編程環境下的操作示範: 把十六进制的字串轉為十进制數字: print int('ff', 16) 255 把十进制數字转换为以十六进制表示之字串,可調用內置的hex()函数: print hex(255) 0xff 調用BinAscii模块其中的b2a_hex()函数,可把以ASCII編碼的文字以十六进制表示: print binascii.b2a_hex('A') 41 反之也可把以十六进制表示的文字,換成以ASCII編碼的文字: print binascii.a2b_hex('41') A 来自“…

2009-10-17 16:05 · 评论(0)

什么ETL(转载)

ETL(Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程)作为BI/DW(Business Intelligence)的核心和灵魂,能够按照统一的规则集成并提高数据的价值,是负责完成数据从数据源向目标数据仓库转化的过程,是实施数据仓库的重要步骤。如果说数据仓库的模型设计是一座大厦的设计蓝图,数据是砖瓦的话,那么ETL就是建设大厦的过程。在整个项目中最难部分是用户需求分析和模型设计,而ETL规则设计和实施则是工作量最大的,约占整个项目的60%~80%,这是国内外从众多实践中得到的普遍共识。 ETL是数据抽取(Extract)、转换(Transform)、清洗(C…

2009-10-16 16:29 · 评论(0)

DataStage(ETL)技术总结

DataStage(ETL)技术总结 -- 介绍篇(转载) source qulier transformation lookup expression 优化:加 index,hints ETL:BO di ,XI ss (ETL调度(DAC),performance) IBM 银行 联想 star schema 在ETL过程中四个基本的过程分别是什么? 答: Kimball数据仓库构建方法中,ETL的过程和传统的实现方法有一些不同,主要分为四个阶段,分别是抽取(extract)、清洗(clean)、一致性处理(comform)和交付(delivery),简称为ECCD。 传统的数据整合方式…

2009-10-16 16:27 · 评论(0)

Oracle数据库中表的四种连接方式

表的连接是指在一个SQL语句中通过表与表之间的关连,从一个或多个表中检索相关的数据,大体上表与表之间的连接主要可分四种,分别为相等连接,外连接,不等连接和自连接,本文将主要从以下几个典型的例子来分析Oracle表的四种不同连接方式: 相等连接 通过两个表具有相同意义的列,可以建立相等连接条件。只有连接列上在两个表中都出现且值相等的行才会出现在查询结果中。 例 查询员工信息以及对应的员工所在的部门信息: SELECT * FROM EMP,DEPT; SELECT * FROM EMP,DEPT WHERE EMP.DEPTNO = DEPT.DEPTNO; REM 显示工资超过2000的员工…

2009-10-15 10:08 · 评论(0)

inner join,full outer join,left join,right jion

inner join,full outer join,left join,right jion 内部连接 inner join 两表都满足的组合 full outer 全连 两表相同的组合在一起,A表有,B表没有的数据(显示为null),同样B表有 A表没有的显示为(null) A表 left join B表 左连,以A表为基础,A表的全部数据,B表有的组合。没有的为null A表 right join B表 右连,以B表为基础,B表的全部数据,A表的有的组合。没有的为null 查询分析器中执行: --建表table1,table2: create table table1(id int,n…

2009-10-15 09:55 · 评论(0)

学习网址

Python: 50个能够满足所有需要的模块: http://www.iteye.com/news/2639 在Windows上安装Python+MySQL 的常见问题及解决方法 : http://blog.csdn.net/kevinw9/archive/2009/06/18/4276547.aspx MySQL 5.1参考手册:http://dev.mysql.com/doc/refman/5.1/zh/index.html Python 定时运行脚本:http://community.itbbs.cn/showthread.php?t=14169 Python 2.6 api://do…

2009-09-11 20:33 · 评论(0)