Spark在Win10下的环境搭建

admin
admin
admin
80565
文章
0
评论
2018年6月24日19:13:09 评论 11 次 672字阅读2分14秒

版本说明

jdk:1.8

scala:2.11.8

spark:2.3.0

hadoop:2.8.3

环境准备

jdk配置

1、配置JAVA_HOME与Path:

Spark在Win10下的环境搭建

Path

Spark在Win10下的环境搭建

2、验证配置:

Spark在Win10下的环境搭建

scala安装与配置

1、scala下载:

访问官方地址http://www.scala-lang.org/download/2.11.8.html

Spark在Win10下的环境搭建

2、配置Path:

Spark在Win10下的环境搭建

3、验证配置:

Spark在Win10下的环境搭建

Spark安装与配置

1、spark下载:

访问官方地址http://spark.apache.org/downloads.html

Spark在Win10下的环境搭建

选中官方推荐的地址即可下载,其他地址也可用(建议采用迅雷等下载工具下载,速度比较会快很多)

Spark在Win10下的环境搭建

2、解压至D盘;

Spark在Win10下的环境搭建

3、配置Path:

Spark在Win10下的环境搭建

4、通过spark-shell进入Spark的交互式命令行模式:

Spark在Win10下的环境搭建

如上,可以看到对应的spark、scala、java版本,同时也看到了异常信息,该异常信息是由于hadoop导致的,下面来配置hadoop。

Hadoop安装与配置

1、hadoop下载

访问官方http://hadoop.apache.org/releases.html

Spark在Win10下的环境搭建

进入下载页,如下建议地址(同样建议用迅雷等下载工具下载,速度更快)

Spark在Win10下的环境搭建

2、解压至

Spark在Win10下的环境搭建

3、配置HADOOP_HOME&Path:

Spark在Win10下的环境搭建

path:

Spark在Win10下的环境搭建

4、winutils下载:https://github.com/steveloughran/winutils

Spark在Win10下的环境搭建

下载对应版本的bin目录直接替换本地bin目录即可。

5、此时继续spark-shell进入spark命令行交互模式:

Spark在Win10下的环境搭建

此时即不会出现上述的异常提示。

6、访问控制台中的webui如下:

Spark在Win10下的环境搭建

  • 我的微信
  • 微信扫一扫
  • weinxin
  • 我的微信公众号
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2018年6月24日19:13:09
  • 转载请务必保留本文链接:https://yu72.com/tech/1226.html
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: