Spark系列--安装与配置

简介

需要安装的:JDK、scala、Spark(注意与hadoop的版本对应)。

可选的安装:hadoop

安装

windows

其他网址

Spark在Windows下的环境搭建_大气人生-CSDN博客
Windows10安装spark(包括hadoop安装)_小白白的博客-CSDN博客

1.安装JDK

2.安装Hadoop

见:Hadoop系列--安装与设置_feiying0canglang的博客-CSDN博客

3.安装Spark

下载地址:Downloads | Apache Spark  (Pre-built:已经编译好了,下载来直接用就好)

本处下载:spark-3.0.2-bin-hadoop3.2.tgz

4.安装Scala

scala是为了运行spark-shell而安装的。

下载地址:https://www.scala-lang.org/download/all.html     //本处下载:scala-2.12.13.msi

傻瓜式安装。安装后cmd输入scala若有输出则安装成功。

注意版本: Spark 2.x is pre-built with Scala 2.11 except version 2.4.2, which is pre-built with Scala 2.12. Spark 3.0+ is pre-built with Scala 2.12.

Spark系列--安装与配置_第1张图片

5.运行spark

到解压目录\bin,运行:spark-shell

Spark系列--安装与配置_第2张图片

6.测试

访问:http://localhost:4040/

结果:

Spark系列--安装与配置_第3张图片

Docker

使用

Python下的PySpark

        针对Python下的Spark,有PySpark,和Scala下的spark-shell类似可以对Spark进行一些简单的调试和测试。

你可能感兴趣的