ORACLE-11G--RAC安装文档.docx

RedHatLinux5(虚拟机)上安装Oracle11gR2RAC (2012-11-13 22:31:57)转载标签：it分类：Oracle高可用性RedHatLinux5(虚拟机)上安装Oracle11gR2RAC一、安装环境与网络配置1.安装环境：主机操作系统：windowsXP虚拟机软件：vmwareworkstation8.0Rac节点操作系统：RedhatEnterpriseLinux5x86_64OracleDatabasesoftware：Oracle11gr2Clustersoftware：Oraclegridinfrastructure11gr2共享存储：ASM+raw2.网络配置：(初步网卡规划，安装只要保证公网、虚拟IP、SCANIP在同一网段，专用IP在同一网段即可)说明：公有IP(公网)一般用于管理员，用来确保可以操作到正确的机器，可以理解为真实ip；专用IP（私网）用于心跳同步，这个对于用户层面，可以直接忽略，简单理解，这个ip用来保证两台服务器同步数据；虚拟IP用于客户端应用，以支持失效转移，通俗说就是一台挂了，另一台自动接管，客户端没有任何感觉；在11gR2中，SCANIP是作为一个新增IP出现的，原有的CRS中的VIP仍然存在,scan主要是简化客户端连接。3.Oracle软件组：4.节点：5.存储组件：二、安装Linux系统安装Linux系统，主要是双网卡的规划设置，其它与普通一致。三、配置Linux系统1.用户组及账号设置1.1.在root用户环境下创建OS组#groupaddg501oinstall#groupaddg502dba#groupaddg504asmadmin#groupaddg506asmdba#groupaddg507asmoper1.2.创建安装oracle的用户#useraddu501goinstallGasmadmin,asmdba,asmopergrid#useraddu502goinstallGdba,asmdbaoracle1.3.为grid及oracle用户设置密码#passwdoracle#passwdgrid2.网络设置2.1定义每个节点的publichostname也就是本机的hostname,比如rac01,rac02.2.2定义publicvirtualhostname,一般建议为vip或直接接vip.此处采用racvip01、rac02vip2.3开始修改所有节点的/etc/hosts127.0.0.1localhost.localdomainlocalhost192.168.5.111rac01192.168.5.112rac02192.168.5.113racvip01192.168.5.114racvip0217.1.1.1 racpri0117.1.1.2racpri02#singleclientaccessname(scan)192.168.5.115racscan3.配置Linux内核参数fs.aio-max-nr=1048576fs.file-max=6815744kernel.shmall=2097152kernel.shmmax=2147483648kernel.shmmni=4096kernel.sem=25032000100128net.ipv4.ip_local_port_range=900065500net.core.rmem_default=262144net.core.rmem_max=4194304net.core.wmem_default=262144net.core.wmem_max=10485764.为oracle用户设置shelllimits.4.1修改/etc/security/limits.confrootrac01etc#cd/etc/security/rootrac01security#vilimits.confgridsoftnproc2047gridhardnproc32768gridsoftnofile1024gridhardnofile250000oraclesoftnproc2047oraclehardnproc32768oraclesoftnofile1024oraclehardnofile2500004.2修改/etc/pam.d/login,如果不存在以下行，请加入sessionrequiredpam_limits.so4.3对默认shellstartupfile做变更，加入如下行到/etc/profieif$USER=oracle|$USER=grid;thenif$SHELL=/bin/ksh;thenulimitp16384ulimitn65536elseulimitu16384n65536fiumask022fi4.4设置SELinux为disable修改/etc/selinux/config文件,确保selinux设置为：SELINU=disabled5.创建OracleInventoryDirectoryrootrac01u01#mkdirp/u01/product/oraInventoryrootrac01u01#chownRgrid:oinstall/u01/product/oraInventoryrootrac01u01#chmodR775/u01/product/oraInventory/6.创建OracleGridInfrastructurehome目录(注意：11g单实例如果需要使用ASM,grid也必须安装，且必须放在ORACLE_BASE下,11gRAC则不行,它的grid家目录必须另外放在一个地方，比如/u01/grid)#mkdirp/u01/grid#chownRgrid:oinstall/u01/grid#chmodR775/u01/grid创建OracleBase目录#mkdirp/u01/product/oracle#mkdir/u01/product/oracle/cfgtoollogs确保软件安装后dbca可以运行#chownRoracle:oinstall/u01/product/oracle#chmodR775/u01/product/oracle创建OracleRDBMShome目录#mkdirp/u01/product/oracle/11.2.0/db_1#chownRoracle:oinstall/u01/product/oracle/11.2.0/db_1#chmodR775/u01/product/oracle/11.2.0/db_17.安装相应的包RAC的安装基于GridInfrastructure（GI）与RDBMS，所需安装的包，与安装OrcleRDBMS一样，可参考RDBMS安装文档，也可以在GI执行安装先决条件时再具体安装缺少的包。用如下命令：rpm-qbinutilscompat-libstdc+-33elfutils-libelfelfutils-libelf-develgccgcc-c+glibcglibc-commonglibc-develglibc-headerskernel-headerskshlibaiolibaio-devellibgcclibgomplibstdc+libstdc+-develmakenumactl-develsysstatunixODBCunixODBC-devel检查相应的包，安装缺少的.四、配置第二台节点raco2关闭节点1，通过vmware复制一个新的节点出来。直接将rac1目录复制一份成rac2,然后修改.vmx文件中的配置，将路径rac01相关的改成rac02.将你启动RAC2时，系统会弹出这个提示，选择Icopiedit，如图：打开RAC2(CopyofRAC1),修改其中的配置。1.修改hostname将rac01改成rac02rootnode1#hostnamerac02rootnode1#vi/etc/sysconfig/network修改/etc/hosts文件中的:这样重启之后机器名称就会变成rac02了。2.修改ip地址先ifconfig看一下：这一步主要是为了记录下两个网卡的mac地址。rootnode1#cd/etc/sysconfig/network-scripts/rootnode1network-scripts#mvifcfg-eth0.bakifcfg-eth0-frootnode1network-scripts#mvifcfg-eth1.bakifcfg-eth1-frootnode1network-scripts#viifcfg-eth0修改IP地址，192.168.100.101为192.168.100.102注意修改HWADDR的值为前面ifconfig中查看到的eth0的HWaddr：00:0C:29:DA:74:13rootnode1network-scripts#viifcfg-eth1同理做修改，HWADDR的值要修改为eth1中的HWaddr:00:0C:29:DA:74:1D最后重启一下网络服务提示：此时两机使用4个IP或4个别名互ping应该都是通的了，如果不通，建议按照上述的操作步骤，检查一下网络的配置。3.修改oracle、grid用户下的环境变量:rootnode2network-scripts#vi/home/oracle/.bash_profile将ORACLE_SID=racdb1改为ORACLE_SID=racdb2rootnode2network-scripts#vi/home/grid/.bash_profile将ORACLE_SID=+ASM1改为ORACLE_SID=+ASM2统统设置完成后，建议重启一下第2个节点。五、实现共享存储1.共享磁盘划分规划：BlockDeviceASMlibNameSizeComments/dev/sdb1OCR_VOTE0110GBASMDiskgroupforOCRandVotingDisks/dev/sdc1ASM_DATA0110GBASMDataDiskgroup/dev/sdd1ASM_DATA026GBASMFlashRecoveryAreaDiskgroup这里是虚拟机安装RAC,所以需要设置共享磁盘文件(可以通过以下命令，也可以通过VMware 界面添加,注意选择磁盘时候需要选取 SCSI 1:1,SCSI 1:2，依次类推，多少个磁盘选择多少个)。如果是实体 Storage，这一步不需要。A.建立一个文件夹用于存放共享磁盘文件:C:VmwareASMSHAREDB.执行下面命令生成共享文件C:cdC:ProgramFilesVMwareVMwareServerC:ProgramFiles(x86)VMwareVMwareWorkstationvmware-vdiskmanager.exe-c-s10Gb-alsilogic-t2“C:SharedDiskShareDiskOCR.vmdk”C:ProgramFiles(x86)VMwareVMwareWorkstationvmware-vdiskmanager.exe-c-s10Gb-alsilogic-t2“C:SharedDiskShareDiskData.vmdk”C:ProgramFiles(x86)VMwareVMwareWorkstationvmware-vdiskmanager.exe-c-s6Gb-alsilogic-t2“C:SharedDiskShareDiskFlash.vmdk”这样就生成了新的虚拟磁盘,其中s10Gb表示磁盘容量,a表示接口类型lsilogic即scsi接口，2的意思是预分配磁盘空间,可以用t0选项,这样就不会占用空间了,实际用多少就多少.可以看到在C:ShareDisk中生成了6个文件。2.关闭Linux 系统及虚拟机：到虚拟机目录比如 C:ShareDiskrac01，直接编辑*.vmx 文件, 加上下面语句(所有虚拟机节点).disk.locking=FALSEdiskLib.dataCacheMaxSize=0scsi1.sharedBus=virtualscsi1.present=TRUEscsi1.virtualDev=lsilogicscsi1:1.present=TRUEscsi1:1.fileName=C:SharedDiskShareDiskOCR.vmdkscsi1:1.mode=independent-persistentscsi1:1.deviceType=diskscsi1:1.redo=scsi1:2.present=TRUEscsi1:2.fileName=C:SharedDiskShareDiskData.vmdkscsi1:2.mode=independent-persistentscsi1:2.deviceType=diskscsi1:3.present=TRUEscsi1:3.fileName=C:SharedDiskShareDiskFlash.vmdkscsi1:3.mode=independent-persistentscsi1:3.deviceType=diskscsi1:2.redo=scsi1:3.redo=extendedConfigFile=RedHatLinux.vmxfvirtualHW.productCompatibility=hostedcleanShutdown=TRUEreplay.supported=FALSEreplay.filename=vmotion.checkpointFBSize=33554432tools.remindInstall=FALSEethernet0.connectionType=bridgedethernet1.connectionType=nattools.syncTime=FALSEethernet0.vnet=VMnet0floppy0.present=FALSEide1:0.startConnected=FALSEunity.wasCapable=TRUE(注意：这个文件中的每一行都不能重复，否则会报错。）最后开启虚拟机程序，查看每个节点虚拟机Devices部分,当然也可以通过VMWare图形界面建立磁盘，注意共享磁盘选择SCSI1而不是0才可以。3.划分共享磁盘(在一个节点上运行fdisk) rootrac01#fdisklDisk/dev/sda:42.9GB,42949672960bytes255heads,63sectors/track,5221cylindersUnits=cylindersof16065*512=8225280bytesDeviceBootStartEndBlocksIdSystem/dev/sda1*1127102009683Linux/dev/sda2128140210241437+83Linux/dev/sda314031912409657582Linuxswap/Solaris/dev/sda41913522126579542+83LinuxDisk/dev/sdb:10.7GB,10737418240bytes255heads,63sectors/track,1305cylindersUnits=cylindersof16065*512=8225280bytesDisk/dev/sdbdoesntcontainavalidpartitiontableDisk/dev/sdc:10.7GB,10737418240bytes255heads,63sectors/track,1305cylindersUnits=cylindersof16065*512=8225280bytesDisk/dev/sdcdoesntcontainavalidpartitiontableDisk/dev/sdd:4294MB,4294967296bytes255heads,63sectors/track,522cylindersUnits=cylindersof16065*512=8225280bytesDisk/dev/sdddoesntcontainavalidpartitiontablerootrac01#在任一节点上，分别对/dev/sdb,/dev/sdc,/dev/sdd进行磁盘分区。最后结果如下：重新启动节点1，2，查看是否都显示挂载正常。5.安装及配置ASMLib(每个节点都需要安装)从OracleOTNASMLib网页下载ASMLib包，使用unamea查看系统核心版本，下载的ASMLib版本要与之匹配。rootrac01#unameaLinuxrac012.6.18128.el5#1SMP查看是否有安装过：rootrac01#rpmqa|greporacleasm匹配的ASMLib文件如下(以下也是文件安装顺序)：oracleasmsupport2.1.31.el5.i386.rpmoracleasm2.6.18128.el52.0.51.el5.i686.rpmoracleasmlib2.0.41.el5.i386.rpmrootrac01oracleasm#rpmivhoracleasmsupport2.1.31.el5.i386.rpm0warning:oracleasmsupport2.1.31.el5.i386.rpm:HeaderV3DSAsignature:NOKEY,keyID1e5e0159Preparing.#100%1:oracleasmsupport#100%rootrac01oracleasm#rpmivhoracleasm2.6.18128.el52.0.51.el5.i686.rpmwarning:oracleasm2.6.18128.el52.0.51.el5.i686.rpm:HeaderV3DSAsignature:NOKEY,keyID1e5e0159Preparing.#100%1:oracleasm2.6.18128.el#100%rootrac01oracleasm#rpmivhoracleasmlib2.0.41.el5.i386.rpmwarning:oracleasmlib2.0.41.el5.i386.rpm:signature:NOKEY,keyID1e5e0159Preparing.#100%1:oracleasmlib#100% 同样在其他节点也执行。6.以root用户配置ASMLib(每个节点都需要安装)同样在其他节点也执行上面命令。7使用ASMLib去标示SharedDisks作为CandidateDisks，在一个节点执行即可。A.使用ASMLib创建ASMDisks, 语法如下：#/usr/sbin/oracleasmcreatediskdisk_namedevice_partition_name其中 disk_name 是你为 ASM Disk 选择的一个名字，名字只能包含数字字母及下划线，比如OCR_VOTE01 , ASMDATA01 等. device_partition_name 标示为 ASM 的系磁盘分区，如/dev/sdb1 , /dev/sdc1 等 。如果你发现设置错误或需要unmark这个磁盘，可以运行如下命令：#/usr/sbin/oracleasmdeletediskdisk_name下面开始设置共享磁盘。#/usr/sbin/oracleasmcreatediskOCR_VOTE01/dev/sdb1#/usr/sbin/oracleasmcreatediskASMDATA01/dev/sdc1#/usr/sbin/oracleasmcreatedisk BACKUP01/dev/sdd1运行结果如下:B.在节点1上为RAC创建了所有的ASMdisks后，使用listdisks命令确认他们的可用性。然后在所有其他节点上以root用户身份，使用scandisks命令扫描已经创建的ASM磁盘，也就是说，我们只需要在节点1上创建ASM磁盘，其他节点不需要。最后在其他节点通过listdisks检查ASM磁盘的可用性。六、安装GridInfrastructure1、设置ssh1)保证两个节点的互通性：在GridInfrastructure和Database安装过程中，OracleUniversalInstaller(OUI)必须能够以grid的身份自动将软件复制到所有RAC节点。这里我们通过配置ssh让grid用户拥有不输入密码即可访问各节点的能力。首先两个节点间互ping，要确保都是通的。在节点2上ping节点1：2)在节点1上：rootrac01$ su - gridgridrac01$cd/home/grid/gridrac01$ mkdir/.sshgridrac01$chmod700/.ssh (密码输入为空)3)在节点2上：rootrac02$su-gridgridrac02$cd/home/grid/gridrac02$mkdir/.ssh gridrac02$chmod700/.ssh 4)切换回rac01，接着执行：gridrac01$cat/.ssh/id_rsa.pub/.ssh/authorized_keysgridrac02 $cat/.ssh/id_dsa.pub/.ssh/authorized_keys提示：下列命令会提示你输入rac02的oracle密码，按照提示输入即可，如果失败可重新尝试执行命令。rac01节点：gridrac01$scp/.ssh/authorized_keysrac02:/.ssh/authorized_keysRac2节点：gridrac02$cat/.ssh/id_rsa.pub/.ssh/authorized_keysgridrac02$cat/.ssh/id_dsa.pub/.ssh/authorized_keysgridrac02$scp/.ssh/authorized_keysrac01:/.ssh/authorized_keys5)测试节点1，2的SSH连通性。在节点1上：在节点2上：注意命令的返回信息，由于rac对节点间时间较敏感，因此如果此处显示节点单时间不一至，建议同步(一般相隔超过20秒就需要同步时间了)。.2.时钟同步：在安装Oracle集群件和Oracle数据库软件时，Oracle安装程序将首先在本地节点上安装软件，然后再将软件远程复制到远程节点。如果两个RAC节点的日期和时间未同步，在安装过程中可能会报错。所有节点的时间必须同步，这通常是通过配置NTP服务实现的。如果用户的网络中已经有一个时间服务器，那么可以所有节点都指向它，否则可以从集群中挑选一个节点作为时间服务器，让其他节点与它同步。假如用rac01做服务器，其IP为:172.31.82.81，修改配置文件#vi/etc/ntp.confServer127.127.1.0-本地时钟Fudge127.127.1.0stratum11Broadcastdelay0.008rac02与rac01同步,修改rac02的ntp配置文件#vi/etc/ntp.confServer172.31.82.81preferDriftfile/var/lib/ntp/driftBroadcastdelay0.008修改完后在重启一下ntp服务#/etc/init.d/ntpdrestart3.安装用于Linux的cvuqdisk程序包1）在两个OracleRAC节点上安装操作系统程序包cvuqdisk。如果没有cvuqdisk，集群验证实用程序就无法发现共享磁盘，当运行（手动运行或在OracleGridInfrastructure安装结束时自动运行）集群验证实用程序时，您会收到这样的错误息：“Packagecvuqdisknotinstalled”注意使用适用于你的硬件体系结构（例如，x86_64或i386）的cvuqdiskRPM。cvuqdiskRPM包含在OracleGridInfrastructure安装介质上的rpm目录中。这里是在：/u01/packages/grid/rpm目录中。2）手动运行CVU使用程序验证Oracle集群件要求(所有节点都执行)：到grid软件解压的目录下执行runcluvfy.sh命令：gridracnode1$cd/u01/packages gridracnode1grid$./runcluvfy.shstage-precrsinst-nrac01,rac02-fixup-verbose然后在节点1及节点2上使用CVU验证硬件和操作系统设置。同样，在rac01节点上以具有用户等效性配置的grid用户帐户运行以下命令：gridrac01$cd/u01/packages/grid/gridrac01grid$./runcluvfy.shstage-posthwos-nrac01,rac02-verbose 查看CVU报告。CVU执行的所有其他检查的结果报告应该为“passed”，之后才能继续进行OracleGridInfrastructure的安装。同样在节点2上运行此验证脚本查看结果，同样，结果都为passed才能继续安装。4.安装GridInfrastructure.1）安装流程此处选中的为OCR、VOTE空间。密码：welcome按照提示依次在rac01,rac02上执行orainstRoot.sh，root.sh（ac01完成后再在rac02上执行）脚本部分内容：出现这两个错误可以忽略，下一步：至此，集群grid安装完成.5.集群的OracleGridInfrastructure的安装后任务:以grid身份运行以下命令：检查crs状态：检查Clusterware资源:检查集群节点:检查两个节点上的OracleTNS监听器进程:确认针对OracleClusterware文件的OracleASM功能:如果在OracleASM上安装了OCR和表决磁盘文件，则以GridInfrastructure安装所有者的身份，使用下面的命令语法来确认当前正在运行已安装的OracleASM：6.为数据和快速恢复区创建ASM磁盘组:在DiskGroups选项卡中，单击Create按钮，在出现的画面中创建racdb_data卷：再次单击create，创建“快速恢复区”磁盘组:成后如图所示：单击Exit退出ASM配置向导。七、安装Database软件:这里只选择安装databasesoftwareonly,下一步：选择RealApplicationClustersdatabaseinstallation单选按钮（此为默认选择），确保选中NodeName