liunx下ETL(kettle)脚本定时任务(crontab)启动失败定位及解决

现象:

       最近项目有使用ETL工具kettle进行数据抽取更新,最终在服务器上执行时需要进行定时启动;通过crontab-e配置之后发现没有启动成功,由于只有子用户权限,没有root用户及sudo权限,经过一番排查及操作才得以解决,故记录下来;

原有步骤:

1.kettle脚本的编写

Date=`date +%Y%m%d%H%M%S`
/app/ETL/kettle/kitchen.sh -file=/app/ETL/work/test/test.kjb -logfile=/app/ETL/work/test/log/etl_${Date}.log

命名为start_job.sh;并授权整个/app/ETL/目录744权限,脚本编写过程中推荐使用绝对路径;

执行./start_job.sh运行正常且日志打印正常;

2.编写crontab -e

通过crontab -e编写定时任务:

00 15 * * * /bin/sh /app/ETL/work/test/start_job.sh

出现crontab: installing new crontab表示定时任务编写成功,但等待发现任务并没有执行;

原因定位:

1.由于环境集中管理,手上并没有root用户及sudo权限,无法查询crontab日志;

有权限的可以通过日志查看;crontab 日志路径如下:/var/log/cron

2.由于无日志,通过service crond status查看crontab运行状态正常,并配置测试定时任务:

00 16 * * * date >> /app/time.log

发现测试任务运行正常;

3.通过网上一番查找,定位原因:

 crontab有一个坏毛病,就是它总是不会缺省的从用户profile文件中读取环境变量参数,经常导致在手工执行某个脚本时是成功的,但是到crontab中试图让它定期执行时就是会出错。

如执行ETL这个脚本需要java_home变量,有可能你使用的这个用户的java版本与root不一致,或者root账户就没有安装java;

我这里就是root账户下的jdk是1.7但ETL需要的是1.8;

解决方法:

解决方法有两个:

1.在elk脚本中指定相关变量:

start_job.sh编写如下:

set ff=unix
#!/bin/bash
export JAVA_HOME=/app/jdk1.8.0_181
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
Date=`date +%Y%m%d%H%M%S`
/app/ETL/kettle/kitchen.sh -file=/app/ETL/work/test/test.kjb -logfile=/app/ETL/work/test/log/etl_${Date}.log

2.在crontab -e指定当前用户配置文件:

55 01 * * * . ~/.bash_profile;/bin/sh /app/ETL/work/test/start_job.sh

 其中. ~/.bash_profile;就是表示当前用户的隐藏配置文件;

推荐使用第二种方式;

关联问题记录:

1.在编写start_job.sh脚本时会出现/bin/sh^M: bad interpreter错误,可通过脚本头部添加 set ff=unix解决

2.crontab -e生效后不是立即就可以执行,需要2-3分钟之后,所以测试时要注意配置的corn时间;

 

你可能感兴趣的