从零开始,一步一步的去安装Spark并运行其中的demo

前言

安装的时候真的是走了不少弯路,最后才发现真的很简单,由于刚开始没有去看官方文档,直接去看的别人的教程如何编写spark程序,发现其中有很多奇怪的命令例如:

spark-submit

后来才发现,原来都是spark包里面的命令。。。真的是气死我了。 好了废话不多说了。直接进入正题了。

安装

下载

  • 进入上面那个网址选择好相应的版本号点击第四个

  • 下载完成后会得到一个tgz的包

  • 直接解压把包随便放个地方。

  • 好了你已经安装成功了!是不是很简单?!

重点介绍

  • bin文件夹下存放的是常用的一些命令行工具 spark-submit也在其中!

  • sbin下面存放的.sh工具其中start-master.sh是常用的打开spark端口的工具./start-master.sh运行后打开http://localhost:8080就能看到spark的页面了。想要关闭运行./stop-master.sh即可