当前位置:首页 > 开发 > 开源软件 > 正文

Spark学习-3 运行一个example

发表于: 2014-10-15   作者:Djava.sohu.com   来源:转载   浏览:
摘要: 开始学习Spark了,先看看Spark能做点什么吧。 最好的方式就是先运行个例子程序。先从Spark网站下载一个运行环境(我的运行环境是Win7, 64bits) 。 我们在官方网站: http://spark.apache.org/downloads.html下载一个版本: 我选 Spark 1.0 + Prebuild for Hadoop 2.3, Link为 http://
开始学习Spark了,先看看Spark能做点什么吧。

最好的方式就是先运行个例子程序。先从Spark网站下载一个运行环境(我的运行环境是Win7, 64bits) 。

我们在官方网站: http://spark.apache.org/downloads.html下载一个版本:
我选 Spark 1.0 + Prebuild for Hadoop 2.3, Link为
http://d3kbcqa49mib13.cloudfront.net/spark-1.1.0-bin-hadoop2.3.tgz

下载解压后,进入到bin目录,运行 run-example.cmd SparkPi 10, 你就可以看到运行的结果了。

你可能会遇到以下这个问题:
===> 说null/bin/winutils.exe找不到,这是因为Spark引用Hadoop的包,而Hadoop需要检查这个文件。所以解决这个最简单方式是设置 HADOOP_HOME指向你Spark的根目录,然后把winutils.exe拷到bin目录。如果没有winutils.exe,你可以到网上搜下。
  a. 你可以 SET HADOOP_HOME=D:\Java\spark\spark-1.1.0-bin-hadoop2.3 (需要将这个路径改成你的实际路径.
  然后再运行命令就可以了。
  b. 或者修改bin/*.cmd文件,把下面这句加进去就可以了
     SET HADOOP_HOME=%~dp0..
    这句就是说设置HADOOP_HOME的路径为 bin的父目录。


Spark学习-3 运行一个example

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号