spark有三种部署方式:standalone,spark on mesos 和 spark on yarn. standalone用于开发; spark on mesos官方推荐, mesos调度更强大; 如何同时使用hadoop, 那么spark on yarn兼容更好。本文是在介绍第三种方式,需要先
安装hadoop-2.7.3(略)。
一、准备工作(scala & spark)
1.1 centOS6服务器3台
master 192.168.3.140 (master.hadoop.zjportdns.gov.cn)
node1 192.168.3.141 (node1.hadoop.zjportdns.gov.cn)
node2 192.168.3.142 (node2.hadoop.zjportdns.gov.cn)
1.2 下载安装包
scala-2.11.8.tgz
spark-2.1.0-bin-hadoop2.7.tgz
上传到三台服务器/usr/local/目录下
二、安装(三台机器执行相同操作)
2.1解压scala
cd /usr/local
tar -xvf scala-2.11.8.tgz
2.2设置环境变量
echo -e "export SCALA_HOME=/usr/local/scala-2.11.8" >> /etc/profile
echo -e "export PATH=$PATH:$SCALA_HOME/bin" >> /etc/profile
2.3解压spark
tar -xvf spark-2.1.0-bin-hadoop2.7.tgz
2.4设置环境变量
echo -e "export SPARK_HOME=/usr/local/spark-2.1.0-bin-hadoop2.7" >> /etc/profile
echo -e "export PATH=$PATH:$SPARK_HOME/bin" >> /etc/profile
2.5修改命令
cd spark-2.1.0-bin-hadoop2.7/conf
cp slaves.template slaves
echo -e "node1.hadoop.zjportdns.gov.cn\nnode2.hadoop.zjportdns.gov.cn" > slaves
cp spark-env.sh.template spark-env.sh
echo -e "export SCALA_HOME=/usr/local/scala-2.11.8" >> spark-env.sh
echo -e "export JAVA_HOME=/usr/local/jdk1.7.0_79" >> spark-env.sh
source /etc/profile
三、运行
3.1启动
$SPARK_HOME/sbin/start-all.sh
3.2验证
http://master.hadoop.zjportdns.gov.cn:8080/
3.3停止
$SPARK_HOME/sbin/stop-all.sh
- 大小: 37.2 KB
分享到:
相关推荐
大数据系统学习笔记-0002 - Hadoop集群搭建 - 资源包 资源列表: hadoop-2.7.4.tar.gz jdk-8u301-linux-x64.tar.gz zookeeper-3.4.10.tar.gz
Python学习笔记--皮大庆,非常适合零基础入门。对应英文版本《How to think like a computer scientist》
zookeeper云的学习笔记-云的学习笔记系统-云的学习笔记系统源码-云的学习笔记管理系统-云的学习笔记管理系统java代码-云的学习笔记系统设计与实现-基于ssm的云的学习笔记系统-基于Web的云的学习笔记系统设计与实现-...
《IT学习资料》--Java 大数据学习笔记. 《IT学习资料》--Java 大数据学习笔记. 《IT学习资料》--Java 大数据学习笔记.
学习笔记HTML-css-JS.zip学习笔记HTML-css-JS.zip学习笔记HTML-css-JS.zip 学习笔记HTML-css-JS.zip学习笔记HTML-css-JS.zip学习笔记HTML-css-JS.zip 学习笔记HTML-css-JS.zip学习笔记HTML-css-JS.zip学习笔记...
云计算大数据学习笔记,让你深入学习云计算大数据学习技术。
《大数据与机器学习-实践方法与行业案例》读书笔记&思维导图,看书时做的笔记,分章节写的,比较全,方便查找。
云的学习笔记-云的学习笔记系统-云的学习笔记系统源码-云的学习笔记管理系统-云的学习笔记管理系统java代码-云的学习笔记系统设计与实现-基于ssm的云的学习笔记系统-基于Web的云的学习笔记系统设计与实现-云的学习...
大数据笔记kafka-jvm.zip
大数据面试题整理,有道云笔记版以及pdf版,有道云笔记直接导入即可查看,认真整理了部分面试题,还有一些参考链接在里面,根据需要再自行查看 6.24更新,增加部分题,增加分类
LaTex教程--latex排版学习笔记---入门提高.pdf
JDBC学习笔记--JDBC学习笔记JDBC学习笔记--JDBC学习笔记JDBC学习笔记--JDBC学习笔记JDBC学习笔记--JDBC学习笔记