当前位置:首页 > 开发 > 编程语言 > Ruby > 正文

如何用ruby来写hadoop的mapreduce并生成jar包

发表于: 2015-07-19   作者:wudixiaotie   来源:转载   浏览:
摘要: ruby来写hadoop的mapreduce,我用的方法是rubydoop。怎么配置环境呢: 1.安装rvm:     不说了 网上有 2.安装ruby:     由于我以前是做ruby的,所以习惯性的先安装了ruby,起码调试起来比jruby快多了。 3.安装jruby:     rvm install jruby然后等待安

ruby来写hadoop的mapreduce,我用的方法是rubydoop。怎么配置环境呢:

1.安装rvm:

    不说了 网上有

2.安装ruby:

    由于我以前是做ruby的,所以习惯性的先安装了ruby,起码调试起来比jruby快多了。

3.安装jruby:

    rvm install jruby然后等待安装完成

4.给编写mapreduce的目录设置默认的ruby版本和gemset:

    进入到目标目录,执行rvm --create --ruby-version jruby-1.7.19@hadoop

    生成两个文件.ruby-version和.ruby-gemset,一个是定义当前目录的默认ruby版本,一个是定义默认的gemset。

    有了这两个文件已进入这个目录rvm自动帮你切换到jruby@hadoop,这样才能运行rubydoop。

5.编写代码:

    需要说明的是目录结构必须是

    ├── Gemfile

    ├── lib

    │   ├── word_count_job.rb

    │   └── word_count.rb

    └── Rakefile

    如果没有需要安装的gem,则touch个空的Gemfile就好,所有的代码都放在lib目录下。

6.生成jar包:

    rake package

7.用hadoop运行生成的jar包:

    hadoop jar build/word_count.jar word_count_job path/to/input path/to/output

如何用ruby来写hadoop的mapreduce并生成jar包

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

编辑推荐
Gruff 是使用ruby编写的Ruby图标库,可以创建包括直线图,柱状图,饼状图在内的多种图表. Github: http
Gruff 是使用ruby编写的Ruby图标库,可以创建包括直线图,柱状图,饼状图在内的多种图表. Github: http
使用如下方式读取JAR中的文件出错 类路径下放了一个jarfile.jar,如下所示: 如上所示,com/yyy/1.t
使用如下方式读取JAR中的文件出错 类路径下放了一个jarfile.jar,如下所示: 如上所示,com/yyy/1.t
1.右键选中你的项目,选择 export,选择JAR file 2.选择Next ,然后选择你要打包的项目,画上小对号
编写hadoop的mapreduce程序时候,提交任务后居然爆出ClassNotFoundException,麻辣隔壁的,网上搜了
1. 先找到你的工程中提供接口的类(要包含MAIN方法), 2. 在该类中右键选择 RUN as 3. 选择 Run co
相信大家在开发java的时候一定会遇到要求将java工程打包成可运行的jar的需求,今天我在这篇博客中详
相信大家在开发java的时候一定会遇到要求将java工程打包成可运行的jar的需求,今天我在这篇博客中详
环境:Win 7 32bit 1、修改hadoop-1.0.3\src\contrib\build-contrib.xml,添加<property name="v
版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号