云计算平台搭建方案样本.doc
《云计算平台搭建方案样本.doc》由会员分享,可在线阅读,更多相关《云计算平台搭建方案样本.doc(43页珍藏版)》请在咨信网上搜索。
1、资料内容仅供您学习参考,如有不当之处,请联系改正或者删除。Hadoop云计算平台搭建方案一、 平台搭建概述 1.1总体思路针对于电网企业在营销服务领域展开的大数据分析处理, 搭建Hadoop云计算平台进行海量数据存储, 并作深层次加工、 处理, 挖掘出无法简单直观便可得到的新的模式, 为电力企业的决策提供指导。平台采用Hadoop-2.2.0作为海量数据存储和分析工具, 将其部署在4个物理计算机节点上, 搭建Hadoop集群, 其中1个节点作为master节点, 其余3个作为slave节点。为了获取更好的稳定性, 平台搭建在Linux系统( ubuntu-14.04-desktop-i386)
2、 环境下。 1.2软件列表软件描述版本VMware Workstation虚拟化软件VMware Workstation 10.0.2.46408UbuntuLinux操作系统ubuntu-14.04-desktop-i386JDKJava的软件开发工具包jdkl.8.0_20Hadoop开源的云计算基础框架Hadoop-2.2.0HBase分布式数据存储系统Hbase-0.96.2ZookeeperHadoop可靠协调系统Zookeeper-3.4.5Sqoop数据迁移工具Sqoop-1.99.31.3平台搭建总流程和节点信息一览表在平台搭建前, 给出实现的总流程图和节点信息一览表, 从而对
3、平台搭建过程和各节点信息有一个全局的认识, 平台搭建总流程如下图所示。创立虚拟机master, 完成JDK、 Hadoop等应用的安装和配置对虚拟机master进行克隆, 得到的虚拟机分别作为slave1、 slave2和slave3完成Zookeeper、 HBase等其它分布式服务的部署, 搭建Hadoop集群运行并测试Hadoop集群系统 各节点信息如下表所示: 机器名IP地址用户名充当角色master172.19.17.102hadoopJobTracker、 Namenodeslave1172.19.17.104hadoopTaskTracker、 Datanodeslave2172
4、.19.17.105hadoopTaskTracker、 Datanodeslave3172.19.17.106hadoopTaskTracker、 Datanode二、 基础平台的搭建步骤此次大数据存储和处理平台的搭建, 需要4台物理节点来部署Hadoop平台环境。我们使用虚拟机软件VMware Workstation创立4台虚拟机, 承载平台搭建工作。另外, 由于对4台虚拟机的配置大部分是相同的, 因此利用VMware Workstation的克隆功能, 能够减少部署的工作量。2.1安装虚拟机软件VMware Workstation首先在4台PC机器上均安装虚拟化软件VMware Work
5、station, 并输入相应的序列号。2.2在master节点上安装Linux系统Ubuntu在设定为master PC节点上首先安装Linux系统( 版本为ubuntu-11.04-desktop-i386) , 在安装过程中为提高后期安装软件的兼容性和稳定性, 在系统语言上选择英语。创立用户名为”hadoop”的普通用户, 设置统一的密码。安装完成后将系统的terminal命令窗口调出来, 以便使用。同时, 为实现虚拟机的Ubuntu系统与本机的Windows系统之间方便快捷的文字复制粘贴以及物理主机系统与虚拟机系统相互拖放文件进行共享, 需要安装VMare Tools工具, 具体操作如下
6、: 启动虚拟机, 进入Ubuntu系统, 在VM菜单栏”虚拟机(M)”的下拉菜单点击”安装VMare Tools(T)”后, 会弹出一个”VMare Tools”文件夹, 里面包含VMare Tools的安装包VMwareTools-9.6.2-1688356.tar.gz, 将该安装包拷贝到/home/hadoop目录下, 输入命令进行解压安装: tar xzvf VMwareTools-9.6.2-1688356.tar.gz此时在/home/hadoop/目录下产生vmware-tools-distrib文件夹, 进入该目录, 经过在terminal终端输入相应命令, 运行vmware-
7、install.pl脚本: cd /home/hadoop/vmware-tools-distrib /进入目录sudo ./ vmware-install.pl /执行vmware-install.pl脚本按提示多次”回车”直至显示安装成功的信息, 再重启系统即可。在完成上述操作后, 为保障Hadoop集群各节点之间的无障碍通信, 需关闭系统防火墙。在重启系统后, 在terminal终端输入命令: sudo ufw disable当显示”Firewall stopped and disable on system startup”时表示防火墙已关闭, 若后续服务部署过程中机器重启无法实现节点
8、之间的相互通信, 可尝试检查防火墙是否关闭。2.3 master节点的JDK安装与配置由于Hadoop底层实现是用JAVA语言编写的, 因此它的运行离不开JAVA运行环境( JRE) 的支持, 这就需要JDK。JDK有多个更新版本, 安装过程大致相同, 这里选择安装最近更新的版本jdkl.8.0_20。先将安装文件jdk-8u20-linux-i586.gz拷贝到master节点的目录/home/hadoop/下, 在终端输入命令: tar xzvf jdk-8u20-linux-i586.gz进行解压安装, 此时会产生文件夹”jdk1.8.0_20”, 所得的JDK安装路径为”/home/h
9、adoop/jdk1.8.0_20”。安装结束后打开/etc/profile文件, 配置JDK的class path: 在terminal终端键入命令: sudo gedit /etc/profile打开profile文件, 在文件末尾加上以下语句: #set java environmentexport JAVA_HOME=/home/hadoop/jdk1.8.0_20export JRE_HOME=/home/hadoop/jdk1.8.0_20/jreexport CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATHexport PAT
10、H=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH / /home/hadoop/是hadoop文件夹所在路径, 不可照抄, 要以实际路径为准保存之后, 在terminal终端输入命令: source /etc/profile使其生效。并键入命令java version查看是否配置成功, 若出现如下信息, 则表示java环境变量配置成功。java version 1.8.0_20Java(TM) SE Runtime Environment (build 1.8.0_20-b26)Java HotSpot(TM) Client VM (build 25.20-b23, m
11、ixed mode)注: 以上灰色背景标注的文字表示的Linux命令, 红色字体颜色标注的文本表示的需要写入的Hadoop环境配置文件中的信息, 绿色字体颜色标注的小5号文本表示注释, 下同2.4 master节点的hadoop安装与配置Hadoop的安装是Hadoop平台搭建的关键步骤, 将从下载的安装包hadoop-2.2.0.tar.gz拷贝到master节点目录/home/hadoop/下, 进行解压安装, 输入命令: tar xzvf hadoop-2.2.0.tar.gz安装完成后配置环境变量: 在系统文件/etc/profile以及Hadoop的安装目录/home/hadoop/
12、hadoop-2.2.0文件夹下的多个文件添加相应的配置信息。2.4.1 添加环境变量打开/etc/profile文件, 在terminal终端键入命令: sudo gedit /etc/profile调出profile文件, 在文件末尾加上: # set hadoop environmentexport HADOOP_HOME=/home/hadoop/hadoop-2.2.0export PATH=$HADOOP_HOME/bin:$PATHexport PATH=$HADOOP_HOME/sbin:$PATH然后保存, 在终端键入命令source /etc/profile使其生效。异常处
13、理1: 问题: 保存添加的环境变量并使其生效后, terminal可能会出现如下警告: (gedit:2949): Gtk-WARNING *: Attempting to set the permissions of /root/.local/share/recently-used.xbel, but failed: No such file or directory(gedit:2949): Gtk-WARNING *: Attempting to store changes into /root/.local/share/recently-used.xbel, but failed: F
14、ailed to create file /root/.local/share/recently-used.xbel.MN6R3V: No such file or directory(gedit:2949): Gtk-WARNING *: Attempting to set the permissions of /root/.local/share/recently-used.xbel, but failed: No such file or directory解决方法: 只需直接在终端中输入命令: sudomkdir-p/root/.local/share/, 创立警告信息中所提示的目录即
15、可。若无视警告重启ubuntu后将会出现以下情况: 输入密码无法进入系统, 一直处于输入密码后又跳转回输入密码的界面。此时的解决方法是: 在输入密码界面同时按下alt+ctrl+F2进入ubuntu命令模式, 并使用root用户及对应密码登陆系统, 然后键入: /usr/bin/vi /etc/profile打开etc/profile文件, 找到最近在末尾加上的hadoop配置文件, 按delete键删除这些行, 然后键入命令:wq! ( 注意此处有冒号, 不可省略) 保存文件。然后同时按下ctrl+alt+del重启系统即可使系统恢复正常登陆, 然后按照上述方法重新配置。2.4.2 目录设置
16、在普通用户hadoop下创立hadoop的数据存储目录( 若使用root用户创立上述文件夹则会因权限问题导致无法向这些文件夹中写入并读取数据) , 可自行选择数据存储的路径, 我们选择在/home/hadoop/文件夹下创立dfs和tmp作为数据存储与交换的目录, 并在dfs文件夹下创立name和data两个子文件夹。分别执行命令: mkdir /home/hadoop/dfs/name /创立/home/hadoop/下dfs的子文件夹namemkdir /home/hadoop/dfs/data /创立/home/hadoop/下dfs的子文件夹datamkdir /home/hadoop
17、/tmp /创立/home/hadoop/tmp2.4.3 /home/hadoop/hadoop-2.2.0/etc/hadoop下配置文件的修改接下来在/home/hadoop/hadoop-2.2.0/etc/hadoop目录下需要修改以下文件的内容: 在slaves文件下分别写入三个slave节点的名称, 完成节点信息配置, 并分别经过对hadoop-env.sh、 core-site.xml、 hdfs-site.xml、 mapred-site.xml、 yarn-site.xml、 yarn-env.sh等文件分别进行Hadoop核心文件配置、 HDFS配置、 Mapreduce
18、配置和Yarn配置。对/home/hadoop/hadoop-2.2.0/etc/hadoop文件夹下的几个文件做一定的修改, 配置每个文件时先单击文件右键, 选择”open with text editor”方式打开, 按照以下方式修改, 需要配置的文件如下: ( 1) 配置hadoop-env.sh文件, 打开该文件, 检索 ”#export JAVA_HOME=$JAVA_HOME”文本, 在该语句的下一行添加: export JAVA_HOME=/home/hadoop/jdk1.8.0_20这样配置的目的是为Hadoop的守护进程设置环境变量, 让Hadoop能够获取到JDK服务的支
19、持。( 2) 配置slaves文件, 打开该文件, 将其内容修改为slave1、 slave2、 slave3。文件名打开后, 将其内容修改为: slavesslave1slave2slave3( 3) 配置core-site.xml文件, 打开该文件, 在文件末尾添加以下语句。文件名打开文件后, 在其末尾添加语句: core-site.xml fs.defaultFS hdfs:/172.19.17.102:9000 io.file.buffer.size 131072 hadoop.tmp.dir file:/home/hadoop/tmp Abase for other temporar
20、y directories. hadoop.proxyuser.tan.hosts * hadoop.proxyuser.tan.groups * ( 4) 配置hdfs-site.xml文件, 打开该文件, 在文件末尾添加以下语句。文件名打开文件后, 在其末尾添加语句: hdfs-site.xml dfs.namenode.secondary.http-address 172.19.17.102:9001 dfs.namenode.name.dir file:/home/hadoop/dfs/name dfs.datanode.data.dir file:/home/hadoop/dfs/d
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 计算 平台 搭建 方案 样本
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【精****】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【精****】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。