当前位置:首页 > 开发 > 编程语言 > 大数据 > 正文

spark 查看 job history 日志

发表于: 2015-06-11   作者:Stark_Summer   来源:转载   浏览:
摘要: SPARK_HOME/conf 下: spark-defaults.conf 增加如下内容 spark.eventLog.enabled true spark.eventLog.dir hdfs://master:8020/var/log/spark spark.eventLog.compress true spark-env.sh 增加如下内容 export SP

SPARK_HOME/conf 下:

spark-defaults.conf 增加如下内容

spark.eventLog.enabled true 
spark.eventLog.dir hdfs://master:8020/var/log/spark 
spark.eventLog.compress true

spark-env.sh 增加如下内容

export SPARK_HISTORY_OPTS=”-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs:/master.et2:8020/var/log/spark”

启动start-history-server.sh

SPARK_HOME/conf 下: 执行 ./start-history-server.sh

spark job history web: master:18080

这样在spark任务运行完成之后,就可以通过web页面查看日志了

history server相关的配置参数描述

  1. spark.history.updateInterval 
      默认值:10 
      以秒为单位,更新日志相关信息的时间间隔

  2. spark.history.retainedApplications 
      默认值:50 
      在内存中保存Application历史记录的个数,如果超过这个值,旧的应用程序信息将被删除,当再次访问已被删除的应用信息时需要重新构建页面。

  3. spark.history.ui.port 
      默认值:18080 
      HistoryServer的web端口

  4. spark.history.kerberos.enabled 
      默认值:false 
      是否使用kerberos方式登录访问HistoryServer,对于持久层位于安全集群的HDFS上是有用的,如果设置为true,就要配置下面的两个属性

  5. spark.history.kerberos.principal 
      默认值:用于HistoryServer的kerberos主体名称

  6. spark.history.kerberos.keytab 
      用于HistoryServer的kerberos keytab文件位置

  7. spark.history.ui.acls.enable 
      默认值:false 
      授权用户查看应用程序信息的时候是否检查acl。如果启用,只有应用程序所有者和spark.ui.view.acls指定的用户可以查看应用程序信息;否则,不做任何检查

  8. spark.eventLog.enabled 
      默认值:false 
      是否记录Spark事件,用于应用程序在完成后重构webUI

  9. spark.eventLog.dir 
      默认值:file:///tmp/spark-events 
      保存日志相关信息的路径,可以是hdfs://开头的HDFS路径,也可以是file://开头的本地路径,都需要提前创建

  10. spark.eventLog.compress 
      默认值:false 
      是否压缩记录Spark事件,前提spark.eventLog.enabled为true,默认使用的是snappy

以spark.history开头的需要配置在spark-env.sh中的SPARK_HISTORY_OPTS,以spark.eventLog开头的配置在spark-defaults.conf 
尊重原创,未经允许不得转载:http://blog.csdn.net/stark_summer/article/details/46459701

spark 查看 job history 日志

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

我来说两句
评论内容:
验  证  码:
 
(网友评论仅供其表达个人看法,并不表明本站同意其观点或证实其描述。)
评论列表
已有 0 条评论(查看更多评论)
编辑推荐
开启Spark集群运行结束的日志 配置spark-defaults.conf spark.eventLog.enabled true spark.eventLo
本文包括如下内容: Spark History Server的作用 配置Spark History Server 运行Spark History Serv
本文包括如下内容: Spark History Server的作用 配置Spark History Server 运行Spark History Serv
本文包括如下内容: Spark History Server的作用 配置Spark History Server 运行Spark History Serv
1. Get Timer Job internal name with id. Job ID can be found in SharePoint CA. Below PowerShel
注意:1.目录hdfs://hadoop1:9000/spark/logs是需要自己先创建的,否则会提示无法找到目录。2.只有
Spark history Server产生背景 以standalone运行模式为例,在运行Spark Application的时候,Spark会
hadoopjob执行完之后: 点击 http://n1.hadoop:19888/jobhistory/attempts/job_1406341693880_0001/
日志信息如下所示: 1.1.1.1 - - [21/Jul/2014:10:00:00 -0800] "GET /majihua/article/284234 HTTP
博客已经搬至http://zxdy.github.io/ 本文主要通过一个具体的spark application来讲述spark job执行
版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号