文章列表
数据仓库领域的几大领军人物 --转自数据仓库之路
数据仓库其实算来是个比较新的领域，国内真正的数据仓库估计都是2000年以后简历的，而且不是很成熟。目前从市场占有率上来说，主要有oracle，IBM，Teradata，Microsoft SQL server ...
在load的时候去掉sequential file的header和footer
今天在论坛看到的方法，先记录下来：
方法一：
在sequential file stage中有个属性可以ignore第一行。对于footer，如果footer使用了与正文不同的格式，可以用使用transformer stage和 @INROWNUM sta ...
删除重复数据的3种方法
今天google分析函数row_number()的时候发现的，觉得很好：
表demo是重复拷贝自dba_objects，有88万左右，不重复的是27323，没有索引
方法一：delete from demo a where a.rowid <> (select max(rowid) from demo b where
b.object_id=a.object_id);
耗时：几个小时以上
方法二： delete from demo where rowid in
(select rid from
(select rowid rid,ro ...
http://www.cnblogs.com/czh-liyu/archive/2008/04/22/1165213.html
http://blog.chinaunix.net/u2/84280/article_105390.html
http://wiki.woodpecker.org.cn/moin/DatabaseModules#head-61b646798c2c5b20be1a1061527d51c96130b776
Connecting Python to Teradata over ODBC：
http://blog.chinaunix.net/u2/84280/articl ...
[编辑] Python
調用Python內置int()函数把該字串轉為數字。以下為在Python解释器編程環境下的操作示範：
把十六进制的字串轉為十进制數字：
>>> print int('ff', 16)
255
把十进制數字转换为以十六进制表示之字串，可調用內置的hex()函数：
>>> print hex(255)
0xff
調用BinAscii模块其中的b2a_hex()函数，可把以ASCII編碼的文字以十六进制表示：
>>> print binascii.b2a_hex('A')
41
反之也可把以十六进制表示的 ...
- 2009-10-17 16:05
- 浏览 8749
- 评论(0)
ETL(Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程)作为BI/DW（Business Intelligence）的核心和灵魂，能够按照统一的规则集成并提高数据的价值，是负责完成数据从数据源向目标数据仓库转化的过程，是实施数据仓库的重 ...
- 2009-10-16 16:29
- 浏览 940
- 评论(0)
DataStage（ETL）技术总结 -- 介绍篇(转载)
source qulier
transformation
lookup
expression
优化：加 index,hints
ETL:BO di ,XI ss (ETL调度(DAC)，performance)
IBM
银行
联想
star schema
在ETL过程中四个基本的过程分别是什么？
答：
Kimball数据仓库构建方法中，ETL的过程和传统的实现方法有一些不同，主要分为四个阶段，分别是抽取（extract）、清洗（clean）、一致性处理（comform）和交付（delivery），简称为ECCD。
传统 ...
- 2009-10-16 16:27
- 浏览 3843
- 评论(0)
表的连接是指在一个SQL语句中通过表与表之间的关连,从一个或多个表中检索相关的数据,大体上表与表之间的连接主要可分四种,分别为相等连接,外连接,不等连接和自连接,本文将主要从以下几个典型的例子来分析Oracle表的四种不 ...
- 2009-10-15 10:08
- 浏览 800
- 评论(0)
inner join,full outer join,left join,right jion
内部连接 inner join 两表都满足的组合
full outer 全连 两表相同的组合在一起，A表有，B表没有的数据（显示为null）,同样B表有
A表没有的显示为(null)
A表 left join B表 左连,以A表为基础，A表的全部数据，B表有的组合。没有的为null
A表 right join B表 右连,以B表为基础，B表的全部数据，A表的有的组合。没有的为null
查询分析器中执行：
--建表table1,table2：
create table table1(id int, ...
- 2009-10-15 09:55
- 浏览 2371
- 评论(0)
Python: 50个能够满足所有需要的模块： http://www.iteye.com/news/2639
在Windows上安装Python+MySQL 的常见问题及解决方法 ： http://blog.csdn.net/kevinw9/archive/2009/06/18/4276547.aspx
MySQL 5.1参考手册：http://dev.mysql.com/do ...
- 2009-09-11 20:33
- 浏览 987
- 评论(0)