Spark修炼之道(进阶篇)——Spark入门到精通:第一节 Spark 1.5.0集群搭建

  • 时间:
  • 浏览:1
  • 来源:uu快3下载网站_uu快3开户二维码

(1)修改centos_salve01虚拟机主机IP地址:

使用以下命令生成相应的密钥(三台机器进行相同的操作)

slaves文件内容如下:

集群搭建相关软件下载地址:

vim hdfs-site.xml内容如下:

打开浏览器,输入http://slave01.example.com:40088/,还时需得到hadoop集群管理界面:

下载后将所有软件都放置在E盘的share目录下:

#### (1) OpenSSH安装

原应着大伙儿儿在配置时,ping 8.8.8.8可不可不后能 ping通,则主机可不可不后能 正常上网;原应着不可不可不后能 上网,则将网络连接方法重新设置为NAT,并修改网络配置文件为dhcp方法。在保证网络连通的请况下执行下列命令:

设置后的内容:

将共享目录中的jdk安装包复制到/sparkLearning目录

(3)修改centos_salve03虚拟机主机IP地址:

修改dataDir为:

#### (2) 无密码登录实现

在大伙儿儿在配置时,修改/etc/sysconfig/network-scripts/ifcfg-eth0文件对应的BOOTPROT=static、IPADDR、NETMASK、GATEWAY及DNS1信息即可

这么便完成配置,下面对集群进行测试:

(1)修改centos_salve01主机名与IP地址映射

设置环境变量:

注:在利用CentOS 6.5操作系统安装spark 1.5集群过程中,此人 发现Hadoop 2.4.1集群还时需顺利搭建,但在Spark 1.5.0集群启动时再次再次出现了难题(原应着原应着是64位操作系统原应着,源码时需重新编译,但此人 没经过测试),经此人 测试在ubuntu 10.04 操作系统上还时需顺利成功搭建。大伙儿儿还时需利用CentOS 6.5进行尝试,原应着有难题,再利用ubuntu 10.04搭建,所有步骤基本一致

(3)vim /etc/sysconfig/network命令修改centos_slave03虚拟机主机名

/etc/sysconfig/network修改后的内容如下:

执行过程总爱回车即可

生成的文件分别为/root/.ssh/id_rsa(私钥)、/root/.ssh/id_rsa.pub(公钥)

将slave01.example.com(centos_slave01)上的sparkLearning目录拷贝到另外两台服务器上:

Spark官方要求的JDK、Scala版本

/etc/sysconfig/network-scripts/ifcfg-eth0文件内容解析:

设置内容如下:



(2)修改centos_salve02虚拟机主机IP地址:

本实验要求装三台:CentOS 6.5,还时需分别安装,也还时需安装完一台后复制两台,具体过程略。初学者,建议三台分别安装。安装后如下图所示:

将/etc/profile文件末尾内容修改如下:

命令还时需切换到该目录下,如下图

采用下列命令设置各主机DNS(三台机器进行相同的设置)

作者:周志湖

网名:摇摆少年梦

微信号:zhouzhihubeyond

(2)修改centos_salve02主机名与IP地址映射

修改后内容如下:

在spark-env.sh文件中加进去去如下内容:

至此Hadoop集群配置成功

设置内容如下:

没找到具体原应着,在ubuntu 10.04服务器上进行相同的配置,集群搭建却成功了(心中一万头…..),运行界面如下:

如下图:

使用命令:vim hadoop-env.sh 将环境变量信息修改如下,在export JAVA_HOME修改为:

执行REDME.md文件的wordcount操作:

安装好的虚拟机一般默认使用的是NAT(关于NAT、桥接等虚拟机网络连接方法参见此人 博客:http://blog.csdn.net/lovehuangjiaju/article/details/48183485),原应着三台机器之间时需互通之外,还时需与本机连通,或者我采用将网络连接方法设置为Bridged(三台机器相同的设置),如下图所法:

(1)修改centos_salve01虚拟机主机名:

使用命令:vim /etc/profile 将环境变量信息修改如下:

将/etc/profile内容修改如下:

在文件末尾加进去去如下内容:

Ubuntu 10.04操作系统下载地址:

(2)vim /etc/sysconfig/network命令修改centos_slave02虚拟机主机名

/etc/sysconfig/network修改后的内容如下:

在文件最后加进去去:

修改后内容如下:

利用vim core-site.xml命令,文件内容如下:

日志内容中包括下列错误:

在linux系统中,采用

/etc/profile文件也进行覆盖

至此,Spark 1.5集群搭建成功。

原应着此人 机器上装了Ambari Server,占用了400400端口,而Spark Master默认端是400400,或者我将sbin/start-master.sh中的SPARK_MASTER_WEBUI_PORT修改为8888

采用下列命上传spark-1.5.0-bin-hadoop2.4目录下的README.md文件到相应的根目录。

如下图:

登录slave02.example.com服务器,执行下列命令

CentOS 6.5下载地址:

测试外网的连通性(我在装的然后 ,8.8.8.8,原应着被禁用….心中一万头cnm):

创建ZooKeeper集群数据保存目录

修改zookeeper_data中的myid信息:

输入http://slave01.example.com:400070 还时需得到HDFS管理界面

(3)修改centos_salve03主机名与IP地址映射

在根目录下创建sparkLearning目前,后续所有相关软件都放置在该目录下,代码如下:

进入/spark-1.5.0-bin-hadoop2.4/bin目录,启动./spark-shell,如下图所示:

修改后内容如下:

测试配置是否成功:

设置内容如下:

前面所有的配置完成后,重启centos_salve01、centos_salve02、centos_salve03使主机名设置生效,或者我分别在三台机器上作如下测试命令:

下面只给出在centos_salve01虚拟机上的测试

测试Scala是否安装成功

设置share文件夹为虚拟机的共享目录,如下图所示:

具体如下图:

如图所示:

设置完成后,使用

浏览器中输入slave01.example.com:8888



或者我在启动过程中再次再次出现了错误,查看日志文件

完成后将公钥拷贝到要免登陆的机器上(三台可进行相同操作):

vim mapred-site.xml修改文件内容如下:

/etc/sysconfig/network修改后的内容如下:

命令重新启动网络,配置即可生效。

执行结果如下图:

如下图:

8.8.8.8为Google提供的DNS服务器