当前位置:首页 > 开发 > 数据库 > 正文

Kettle最佳实践

发表于: 2012-04-25   作者:cutesunshineriver   来源:转载   浏览:
摘要: 一、当输入对象为CSV文件时,将NIO Buffer Size从默认的50000改到最佳的200000。 二、当输出对象为表输出时,将提交记录数量从默认的1000改到最佳的4000。 三、尽可能关闭转换过程中一切与数据库相关的日志,如表日志、索引日志等。 四、在数据库去重时,使用普通索引而不是唯一性索引。 五、在插入数据之前,先使索引unusable,数据导完之后再rebu
一、当输入对象为CSV文件时,将NIO Buffer Size从默认的50000改到最佳的200000。

二、当输出对象为表输出时,将提交记录数量从默认的1000改到最佳的4000。

三、尽可能关闭转换过程中一切与数据库相关的日志,如表日志、索引日志等。

四、在数据库去重时,使用普通索引而不是唯一性索引。

五、在插入数据之前,先使索引unusable,数据导完之后再rebuild索引。需要注意的是,像数据库去重这种需要索引来优化查询速度的情况可以排除在外。

六、索引和表数据使用不同的表空间,尽可能的减少IO争用。

七、Kettle所在操作系统优先选择Windows,在有些情况下Linux的插入速度明显偏低。

Kettle最佳实践

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号