当前位置:首页 > 开发 > 开源软件 > 正文

Spark的学习2-IDE

发表于: 2014-10-15   作者:Djava.sohu.com   来源:转载   浏览次数:
摘要:   当使用Maven构建好项目后,现在要开始学习Spark的设计及具体实现,就是源码了。     在Google上查到的比较多的IDE就是Scala + Eclipse , Scala + NetBeans和Scala + IntelliJ Idea. 因为以前一直使用的Eclipse,所以Scala + Eclipse当然是优选了。 下了一个ScalaID
  当使用Maven构建好项目后,现在要开始学习Spark的设计及具体实现,就是源码了。
 
  在Google上查到的比较多的IDE就是Scala + Eclipse , Scala + NetBeans和Scala + IntelliJ Idea. 因为以前一直使用的Eclipse,所以Scala + Eclipse当然是优选了。

下了一个ScalaIDE,它的Eclipse的Scala订制版(http://scala-ide.org/),把构建好的Spark maven项目导进去, 一直有错误,大概就是一些类找不到的错误,在工作区查了一下,都是一些.scala对应的类。我猜想可能的原因就是那些Scala文件没有正确被编译, 于是Google,最后有一个方案是把spark-assembly-1.1.0-hadoopXXX.jar添加进来(这个文件可以从Spark的预编译包里获取),试了一下,类找不到的问题就不见了,但是修改了一下scala文件,那个scala文件就显示一堆错误,无法编译了。搞了好久,无果。查了Google,说Scala语言太灵活,现在的IDE都不能很好的支持,说是IntelliJ Idea对Scala语言的支持要好点,所以果断换IntelliJ Idea试一下,现在的版本是13.1.

以前JBuilder时代,IntelliJ Idea就是其中的主要竞争者,不过以前试用了n次,每次都放弃。究其原因,可能有几个:
1. 操作习惯与JBuilder及Eclipse有很大的不同,总之不顺手,
2. 另外一个原因就是处理大的项目速度慢,完全没办法和JBuilder和Eclipse比。Eclipse虽然有时候也"发发脾气",但整体来说,还是比较好用的,不过现在的版本是又大又不好用。说远了,
3. 功能太过强大,这样也给用户带来太多的复杂性。

导入项目以后,还要添加Scala和SBT的支持,具体的方法是:
File -> Setttings -> Plugins -> Browse Repositories , 在查找框里输入Scala,找到Scala,点右边窗口的Install Plugin, 找到SBT,并安装它,这个是用来构建Scala的工具。

这样我们就大功告成了。因为没有使用过IntelliJ Idea,所以我要花一点时间用一下,同时Spark是用Scala写的,另外听说Scala的学习曲线很陡,所以要学习Spark源代码,学习Scala也是必不可少的了。后面我会两至三天写一篇关于Spark学习的文档,希望大家一起来学习,探讨。

IntelliJ Idea 关于Scala相关的参考:

http://confluence.jetbrains.com/display/IntelliJIDEA/Scala+Development

Scala Console 使用: .scala -> Ctrl + Shift + D  --> Ctrl + Enter执行

Spark的学习2-IDE

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

编辑推荐
讲到Spark,我们要先讲将大数据,因为Spark是一个处理大数据的平台。那什么是大数据呢?大数据也称
Spark Streaming 简介 spark streaming是Spark核心API的扩展,能够进行可伸缩、高通量、容错实时数
(1) 准备工作 在正式介绍之前,先要以下软硬件准备: 软件准备: Eclipse Juno版本(4.2版本),
参考资料: http://ir.dlut.edu.cn/NewsShow.aspx?ID=291 http://www.douban.com/note/298095260/ h
一、Spark基础知识梳理 1.Spark是什么? Spark是一个通用的并行计算框架,由UCBerkeley的AMP实验室
在前面几篇博客里,介绍了Spark的伪分布式安装,以及使用Spark Shell进行交互式操作,本篇博客主要
在前面几篇博客里,介绍了Spark的伪分布式安装,以及使用Spark Shell进行交互式操作,本篇博客主要
Spark Streaming uses a “micro-batch” architecture, where the streaming computation is treat
开发Spark WordCount的步骤 下载并配置Scala2.11.4 下载Scala版本的Eclipse,简称Scala IDE 下载Spa
什么是RDD Spark是围绕着RDD(Resilient Distributed Dataset,弹性分布式数据集)建立起来的,也就是
版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号