kettle 的实用小功能

kettle 除了作为 ETL 工具外,还有很多数据处理方面的实用功能,本文介绍几个实用的小功能。

1. 文件批量入库
该功能可以将一个目录下的全部或部分文件加载到数据库中。
流程图:

[@more@]

第一步: “获取文件名” 步骤获取一个目录下的文件名,使用一个正则表达式来指定文件名。


如上图,指定了 E:/opensource/kettle-trunk/ui/images 目录下所有以 .png 结尾的文件名。在这个步骤里创建了下面几个字段来描述所有获取的文件:

FILENAME,
SHORT_FILENAME,
PATH,
TYPE,
EXISTS,
ISHIDDEN,
ISREADABLE,
ISWRITEABLE,
LASTMODIFIEDTIME,
SIZE,
EXTENSION,
URI,
ROOTURI

第二步: 使用一个 javascript 脚本,读取文件内容,如果你不想把文件内容入库,可以不用这一步。下面是 javascript 脚本的内容:


file = new Packages.java.io.File(filename.getString());
fileInputStream = new Packages.java.io.FileInputStream(file);
var content = Packages.org.pentaho.di.core.Const.createByteArray(file.length());
fileInputStream.read(content, 0, file.length());
fileInputStream.close();

不要忘了,选中 “获取变量” 按钮,将 content 也作为一个输出字段, 类型 Binary。

第三步:“表输出”,将前两个步骤获得的字段,输出到数据库的表里。如果数据库里没有相应的表,需要使用 “SQL” 按钮获得并执行创建表的 SQL 语句。

通过这三个步骤可以将文件名,文件属性,文件内容都保存到数据库里,

如果文件是二进制文件,文件内容一般保存为 BLOB 、Binary 、Image 等类型。

如果文件是字符型文件,文件内容一般保存为 CLOB 、varchar、Text 等类型。

注意:因为该方法是一次性将文件内容都读到了内存中,因此只能处理比较小的文件。

待续

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/14366449/viewspace-1022413/,如需转载,请注明出处,否则将追究法律责任。

转载于:http://blog.itpub.net/14366449/viewspace-1022413/

你可能感兴趣的