当前位置:首页 > 开发 > 开源软件 > 正文

Spark学习-3 运行一个example

发表于: 2014-10-15   作者:Djava.sohu.com   来源:转载   浏览次数:
摘要: 开始学习Spark了,先看看Spark能做点什么吧。 最好的方式就是先运行个例子程序。先从Spark网站下载一个运行环境(我的运行环境是Win7, 64bits) 。 我们在官方网站: http://spark.apache.org/downloads.html下载一个版本: 我选 Spark 1.0 + Prebuild for Hadoop 2.3, Link为 http://
开始学习Spark了,先看看Spark能做点什么吧。

最好的方式就是先运行个例子程序。先从Spark网站下载一个运行环境(我的运行环境是Win7, 64bits) 。

我们在官方网站: http://spark.apache.org/downloads.html下载一个版本:
我选 Spark 1.0 + Prebuild for Hadoop 2.3, Link为
http://d3kbcqa49mib13.cloudfront.net/spark-1.1.0-bin-hadoop2.3.tgz

下载解压后,进入到bin目录,运行 run-example.cmd SparkPi 10, 你就可以看到运行的结果了。

你可能会遇到以下这个问题:
===> 说null/bin/winutils.exe找不到,这是因为Spark引用Hadoop的包,而Hadoop需要检查这个文件。所以解决这个最简单方式是设置 HADOOP_HOME指向你Spark的根目录,然后把winutils.exe拷到bin目录。如果没有winutils.exe,你可以到网上搜下。
  a. 你可以 SET HADOOP_HOME=D:\Java\spark\spark-1.1.0-bin-hadoop2.3 (需要将这个路径改成你的实际路径.
  然后再运行命令就可以了。
  b. 或者修改bin/*.cmd文件,把下面这句加进去就可以了
     SET HADOOP_HOME=%~dp0..
    这句就是说设置HADOOP_HOME的路径为 bin的父目录。


Spark学习-3 运行一个example

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

编辑推荐
第一个程序 将搜狗实验室的日志分析,分析出查询排行榜; 需要先将txt文件传到HDFS上,然后分析; 程
1.Spark介绍 Spark是基于map reduce算法实现的分布式计算,拥有Hadoop MapReduce所具有的优点;但不
http://www.mkyong.com/spring-mvc/spring-3-mvc-contentnegotiatingviewresolver-example/ Spring
In Spring 3, one of the feature of “mvc:annotation-driven“, is support for convert object t
讲到Spark,我们要先讲将大数据,因为Spark是一个处理大数据的平台。那什么是大数据呢?大数据也称
DAGScheduler 面向stage的调度层,为job生成以stage组成的DAG,提交TaskSet给TaskScheduler运行。
作业执行 上一章讲了RDD的转换,但是没讲作业的运行,它和Driver Program的关系是啥,和RDD的关系是
本文基于Spark1.3.1,介绍一下Spark基于hadoop-2.3.0-cdh5.0.0的安装配置和简单使用。 我是在一台机
本文基于Spark1.3.1,介绍一下Spark基于hadoop-2.3.0-cdh5.0.0的安装配置和简单使用。 我是在一台机
作业执行 上一章讲了RDD的转换,但是没讲作业的运行,它和Driver Program的关系是啥,和RDD的关系是
版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号