当前位置:首页 > 开发 > 开源软件 > 正文

mahout脚本调用流程分析

发表于: 2013-05-28   作者:davidxiaozhi   来源:转载   浏览次数:
摘要: 欢迎喜欢深入了解推荐系统和mahout的兄弟加入群     推荐系统之Mahout  135918911   剖析mahout脚本   mahout 位于$MAHOUT_HOME/bin目录下,是所有mahout调用的入口。 主要会做各类环境变量的设置。 MAHOUT_JAVA_HOME:指定java的执行路劲,会覆
欢迎喜欢深入了解推荐系统和mahout的兄弟加入群     推荐系统之Mahout  135918911
 
剖析mahout脚本
 

mahout 位于$MAHOUT_HOME/bin目录下,是所有mahout调用的入口。

主要会做各类环境变量的设置。

MAHOUT_JAVA_HOME:指定java的执行路劲,会覆盖$JAVA_HOME

MAHOUT_HEAPSIZE   :JAVA运行堆栈的内存大小

HADOOP_CONF_DIR  : hadoop 配置文件路径主要是*-site.xml这些文件的位置

MAHOUT_OPTS           : mahout运行时的java参数

MAHOUT_CONF_DIR    :类文件属性文件所在文件,文件名是类名简写,默认位置$MAHOUT_HOME/src/conf

MAHOUT_LOCAL         : 设置是否本地运行,如果设置这个参数就不会运行hadoop了,一旦设置这个参数,那HADOOP_CONF_DIR HADOOP_HOME 这两个参数的设置就自动失效了。

MAHOUT_CORE          :是否应用开发环境的core,还是发布的core

 

参数-core                  指定引用包的路径

 

 

  • 案例调用流程

要运行example的时候,最终的触发语句如下:

exec"$HADOOP_BINARY" jar $MAHOUT_JOB $CLASS "$@"

1$HADOOP_BINARY 就是hadoop的执行文件

2$MAHOUT_JOB:  就是mahout-examples-*-job.jar 所在位置

3$CLASS   :      是默认的 org.apache.mahout.driver.MahoutDriver

4$@           :      就是要调用的class名字,比如org.apache.mahout.clustering.syntheticcontrol.kmeans.Job

mahout脚本调用流程分析

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

编辑推荐
fuse处理请求的整个流程如下图所示,以unlink操作为例进行说明。其中“>”表示调用,”<”表示
起始的类是 /mahout-mrlegacy/src/main/java/org/apache/mahout/vectorizer/SparseVectorsFromSeque
准备步骤 Retrofit源码下载地址:https://github.com/square/retrofit Retrofit源码目录结构: 官网
/******************************** 拉风的道长 本文地址:http://my.oschina.net/lifj/blog/346982
/******************************** 拉风的道长 本文地址:http://my.oschina.net/lifj/blog/346985
/******************************** 拉风的道长 本文地址:http://my.oschina.net/lifj/blog/346985
/******************************** 拉风的道长 本文地址:http://my.oschina.net/lifj/blog/346770
一系列添加选项的操作:包括minSupport,analyzerName,chunkSize,weight,minDF等等。 1 2 3 4 5
mahout的trainnb调用的是TrainNaiveBayesJob完成训练模型任务。所在包: org.apache.mahout.classif
一系列添加选项的操作:包括minSupport,analyzerName,chunkSize,weight,minDF等等。 1 2 3 4 5
版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号