Greenplum数据库安装专项方案.docx
《Greenplum数据库安装专项方案.docx》由会员分享,可在线阅读,更多相关《Greenplum数据库安装专项方案.docx(29页珍藏版)》请在咨信网上搜索。
1、江西移动Greenplum 数据库安装修改统计编号日期描述版本作者审核公布日期目 录1物理环境布署31.1Greenplum物理架构设计31.2磁盘硬件RAID设计51.3网络IP计划52软件环境安装配置62.1操作系统安装配置62.2操作系统参数设置112.3操作系统安全配置132.4操作系统用户组和用户152.5网络配置152.6集群NTP服务时钟同时配置163数据库系统安装配置163.1Greenplum软件安装163.2数据库初始化204数据库参数214.1数据库参数设置214.2调整连接控制参数235Command center安装231 物理环境布署1.1 Greenplum物理架
2、构概述Greenplum是一个基于postgresql(开源数据库)分布式数据库。其采取shared nothing架构(MPP),主机,操作系统,内存,存放全部是自我控制,不存在共享。关键由master host(master管理节点),segment host(segment数据节点),interconnect(网络)三大组件组成,segment host又包含primary segment(主segment实例)及mirror segment(镜像segment实例)。以下图所表示:其中各组件功效以下: Master host (master管理节点)关键负责接收并分配查询等任务,是Gr
3、eenplum环境和外界通信入口。而且,master管理节点不存放任何业务数据,只负责对各Segment数据节点抽取出业务数据进行汇总,反馈给用户。 Standby master(Standby master管理节点)关键作为master管理节点热备份节点,当master管理节点宕机时Standby master则饰演master管理节点角色。 Node/segment host(Segment数据节点)关键负责运行Segment instances(Segment实例)服务进程,支撑多少个Segment实例取决于Segment数据节点CPU核数。 Primary Segment(主实例)存放
4、数据库一部分独立数据(即每个主实例存放数据完全不一样),关键负责处理查询等任务,每个Segment数据节点能配置多少个主实例取决于CPU等物理配置情况。当加载数据至数据库时,数据库按既定分配算法决定实例分别存放哪些数据,当master将实施计划发给各实例,各实例关键处理其负责那部分数据。 Mirror segment(镜像实例)关键作为Primary Segment(主实例)热备份节点,当Primary Segment(主实例)不可用时Mirror segment(镜像实例)则饰演master管理节点角色。 Interconnect switches(互连交换机)是Greenplum数据库环境
5、通信关键,关键负责各节点通信交互。1.2 硬件环境1. Master/Standby服务器 Master硬件信息设备型号华为RH2288H V2 CPU英特尔志强 8核 E5-2650V2 2.6GHz处理器 2*8core内存192G磁盘23*900GB网卡端口4*1GE+4*10GB口服务器数量22., Segment服务器Slaver硬件信息设备型号华为RH2288H V2 CPU英特尔志强 8核 E5-2650V2 2.6GHz处理器 2*8core内存192G磁盘23*900GB网卡端口4*1GE+4*10GB口服务器数量17(目前环境13台)3. 万兆网络2台华为交换机9300做了
6、交换机堆叠配置,每台服务器连接2条万兆网线,分别连接到两台交换机,在主机上配置网卡聚合,实现负载均衡和容错。1.3 磁盘硬件RAID设计考虑数据安全性、可靠性、运行性能和容量需求,在硬件方面采取RAID进行进行数据保护。对于磁盘RAID设置要求: RAID卡打开“Write Back”Cache设置和“Read ahead”读策略。 分成2组RAID5:12*900G +11*900G。1.4 网络IP计划为了最大程度满足性能和可靠性要求,集群配置了2台华为9300交换机,做了交换机堆叠配置,每台服务器连接2条万兆网线,分别连接到两台交换机,在主机上配置网卡聚合(mode=4),实现负载均衡和
7、容错。 因为采取网卡聚合技术,每台服务器只需配置一个IP地址,整个集群处于一个vlan之中。用途机器名IPGPDB Masterjxgpmaster0110.180.212.64GPDB Standbyjxgpmaster0210.180.212.65GPDB Segmentjxgpseg0510.180.212.70jxgpseg0610.180.212.71jxgpseg0710.180.212.72jxgpseg0810.180.212.73jxgpseg0910.180.212.74jxgpseg1010.180.212.75jxgpseg1110.180.212.76jxgpseg1
8、210.180.212.77jxgpseg1310.180.212.78jxgpseg1410.180.212.79jxgpseg1510.180.212.80jxgpseg1610.180.212.81jxgpseg1710.180.212.822 软件环境安装配置2.1 操作系统安装配置2.1.1 BIOS设置 进入BIOS功效界面,开启BIOS 超线程 开启 验证BIOS超线程设置合规性:A: grep i cpu cores | /proc/cpuinfo |wc lB: grep i processor | /proc/cpuinfo |wc l 检验结果:处理器数量是核数2倍。2.
9、1.2 操作系统安装设置2.1.2.1 安装操作系统基础包操作系统版本:Redhat Enterprise Linux Server 6.5(64bit) 要求: 选择“最小”软件组方法安装Red Hat Enterprise Linux 6.5 (64bit) 选中“现在自定义”选项,选择安装其它系统工具包。2.1.2.2 安装系统语言包 要求:操作系统安装过程中,请安装以下语言支持。 POSIX C和 en_US.utf8 locales 在安装操作系统时安装。即The POSIX C and en_US.utf8 locales must be installed during the
10、OS installation. Additional locales may be installed as necessary to suit the customer. 以 English(English)作为操作系统安装/登录时采取语言。 除英文环境,在安装附加语言支持时,选择简体汉字。即zh_CN.gbk、zh_CN.gb18030、zh_CN.utf8、zh_CN.BIG5,等汉字语言包需要在安装操作系统时一并安装。2.1.2.3 安装系统工具包组件名称组件功效版本要求验证检验Kdump系统信息转储工具和操作系统相同版本Service kdump statusWhich kdump
11、Ntp时间同时服务和操作系统相同版本Service ntpd statusPerlPerl语言工具包和操作系统相同版本Perl -versionTcpdump网络数据采集分析工具和操作系统相同版本which TcpdumpUnzip/zlib5 解压工具和操作系统相同版本which UnzipXfsdumpXfs文件系统工具和操作系统相同版本which XfsdumpXfsprogsXfs文件系统工具和操作系统相同版本which xfssprogsed.x86_64Ed编辑器和操作系统相同版本which edjdk-6u43-linux-x64-rpmJdk工具,从Oracle下载安装和操作系
12、统相同版本jdk versionipmi/ipmitool远程管理诊疗工具和操作系统相同版本ipmitool -VGdb程序运行时调试工具和操作系统相同版本which gdbPstack程序运行时调试工具(依靠于gdb)和操作系统相同版本which pstackNmon系统性能监测工具和操作系统相同版本which nmon2.1.2.4 开发语言连接驱动开发语言连接数据库需要特定驱动,现在Greenplum和第三方开发语言连接方法有以下规范: Greenplum自带C/C+开发语言驱动,不需要安装任何驱动。 Greenplum自带JDBC/ODBC连接驱动,开发语言可经过JDBC或ODBC连接
13、数据库,比如 Java开发语言可经过JDBC连接数据库。 对于自带有JDBC/ODBC连接驱动开发语言,可直接经过本身JDBC/ODBC连接数据库 Python及Perl开发语言不能经过JDBC/ODBC连接数据库,需经过DBD连接,则要在安装操作系统完成后独立布署安装。比如LDS及SOR数据库集群开发语言是Perl,则是需要安装以下DBD驱动软件包。postgresql-libs-8.4.11-1.el6_2.x86_64perl-DBI-1.609-4.el6.x86_64perl-DBD-Pg-2.15.1-3.el6.x86_642.1.2.5 时区配置 配置时区要求以下: 选择时区为
14、东八区“亚洲/上海 - 中国东部” Asia/ShanghaiEast China Beijing,Guangdong,Shanghai,etc. 系统时钟不使用UTC2.1.2.6 文件系统和分区配置 因为RAID磁盘组大于2T,提议采取parted分区,不采取LVM进行管理。 Greenplum官方推荐最适合文件系统是XFS,其它文件系统类型标准上不推荐; 挂载点大小文件系统类型说明/400Gext4安装操作系统和应用软件/boot200Mext4linux开启目录无192Gswap系统交换空间/data12.8Txfshadoop数据目录/data22.6Txfshadoop数据目录2.
15、1.2.7 网卡配置每台服务器采取2网卡绑定方法提升网络带宽(需要交换机支持),网卡绑定参考以下过程:1.停止NetworkManager服务service NetworkManager stopchkconfig NetworkManager off2.新建/etc/sysconfig/network-scripts/ifcfg-bond0文件DEVICE=bond0ONBOOT=yesBOOTPROTO=staticIPADDR=NETMASK=GATEWAY=USERCTL=no3.分别修改每块slave网卡设置文件,假设slave网卡为eth0,则按以下内容更改/etc/sysconf
16、ig/network-scripts/ifcfg-eth0文件:DEVICE=eth0ONBOOT=yesBOOTPROTO=noneMASTER=bond0USERCTL=no4.以步骤3方法修改另一块slave网卡配置5.编辑/etc/modprobe.d/bond.conf文件,加入以下内容alias bond0 bondingoptions bond0 miimon=100 mode=46.重启network服务service network restart7.检验网络连通性说明:miimon是用来进行链路监测。 比如:miimon=100,那么系统每100ms监测一次链路连接状态,假
17、如有一条线路不通就转入另一条线路;mode值表示工作模式,共有0,1,2,3,4,5,6七种模式2.2 操作系统参数设置设置类型内容硬盘调度算法elevator=deadline内核参数l 设置方法修改/boot/grub/menu.lst 找到 kernel /vmlinuz-xxx 这一行,在最终添加 elevator=deadline/elevator=deadline transparent_hugepage=nevel 检验/验证方法系统开启正常后,实施 cat /sys/block/*/queue/scheduler应能看到:noop anticipatory deadline c
18、fq 系统运行等级 = 3系统设置l 设置方法在/etc/inittab文件中,将行id:5:initdefault改成:id:3:initdefaultl 检验/验证方法实施 cat /etc/inittab应能看到:id:3:initdefault磁盘预读取block readahead = 16384 (全部硬盘)系统设置l 设置措施修改/etc/rc.d/rc.local 增加两行blockdev -setra 16384 /dev/sd*l 检验措施系统重启后运行blockdev -getra /dev/sd*blockdev -getra /dev/vg0/*应全部是16384语言
19、和字符集language=en_US.UTF-8系统设置l 设置措施系统安装时指定。l 检验措施登录系统,实施命令 locale结果应该是 en_US.UTF-8Sysctl.conf系统设置l 设置措施修改/etc/sysctl.conf,增加以下内容:kernel.shmmax =kernel.shmall =kernel.shmmni = 4096kernel.sem = 250 51 100 2048kernel.sysrq = 1kernel.core_uses_pid = 1kernel.msgmni = 2048net.ipv4.tcp_syncookies = 1net.ipv
20、4.ip_forward = 0net.ipv4.conf.default.accept_source_route = 0net.ipv4.tcp_tw_recycle = 1net.ipv4.tcp_max_syn_backlog = 4096net.ipv4.conf.all.arp_filter = 1net.ipv4.ip_local_port_range = 1025 65535dev_max_backlog = 10000net.core.rmem_max = 2097152net.core.wmem_max = 2097152vm.overcommit_memory = 2ker
21、nel.core_pattern=/data1/coredump/core.%e.%p.%t.%u.%gnet.ipv4.ip_local_reserved_ports=5432,6432net.ipv4.ip_forward = 0 net.ipv4.conf.default.accept_source_route = 0kernel.core_uses_pid = 1net.ipv4.tcp_syncookies = 1kernel.msgmax = 65536kernel.msgmni = 2048kernel.msgmnb = 65536kernel.shmmax = kernel.s
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- Greenplum 数据库 安装 专项 方案
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【快乐****生活】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【快乐****生活】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。