ORACLE-11G--RAC安装文档.docx

Red Hat Linux 5(虚拟机) 上安装 Oracle11g R2 RAC
  (2012-11-13 22:31:57)
转载▼
标签： 
it
分类： Oracle高可用性
Red Hat Linux 5(虚拟机) 上安装 Oracle11g R2 RAC

一、 安装环境与网络配置
1.安装环境：
  主机操作系统：windows XP
虚拟机软件：vmware workstation  8.0
Rac节点操作系统：Redhat Enterprise Linux5 x86_64 
Oracle Database software ：Oracle11gr2 
Cluster software ：Oracle grid infrastructure 11gr2
      共享存储：ASM+raw

2. 网络配置：

(初步网卡规划，安装只要保证公网、虚拟IP、SCAN IP在同一网段，专用IP在同一网段即可)

说明：公有IP(公网)一般用于管理员，用来确保可以操作到正确的机器，可以理解为真实ip；专用IP（私网）用于心跳同步，这个对于用户层面，可以直接忽略，简单理解，这个ip用来保证两台服务器同步数据；虚拟IP用于客户端应用，以支持失效转移，通俗说就是一台挂了，另一台自动接管，客户端没有任何感觉；在11gR2中，SCAN IP是作为一个新增IP出现的，原有的CRS中的VIP仍然存在,scan主要是简化客户端连接 。

3.Oracle软件组：

4.节点：

5.存储组件：

二、安装Linux系统
安装Linux系统，主要是双网卡的规划设置，其它与普通一致。

三、配置Linux系统
1.   用户组及账号设置  
1.1.  在 root用户环境下创建 OS 组
# groupadd ‐g 501 oinstall
# groupadd ‐g 502 dba  
# groupadd ‐g 504 asmadmin  
# groupadd ‐g 506 asmdba 
# groupadd ‐g 507 asmoper 

1.2.  创建安装oracle的用户   
# useradd ‐u 501 ‐g oinstall ‐G asmadmin,asmdba,asmoper grid
# useradd ‐u 502 ‐g oinstall ‐G dba,asmdba oracle 

1.3.  为 grid及 oracle用户设置密码   
# passwd oracle  
# passwd grid    

2.  网络设置  
2.1  定义每个节点的 public hostname 
也就是本机的 host  name,  比如 rac01,rac02.  

2.2   定义 public virtual hostname,  一般建议为‐vip 或直接接 vip.
此处采用racvip01、rac02vip

2.3   开始修改所有节点的/etc/hosts 
127.0.0.1        localhost.localdomain localhost 
192.168.5.111     rac01 
192.168.5.112     rac02 
192.168.5.113     racvip01 
192.168.5.114     racvip02 
17.1.1.1               racpri01 
17.1.1.2         racpri02 
#single client access name(scan) 
192.168.5.115      racscan 

3.  配置Linux内核参数 
fs.aio-max-nr=1048576
fs.file-max=6815744
kernel.shmall = 2097152 
kernel.shmmax = 2147483648 
kernel.shmmni = 4096 
kernel.sem = 250 32000 100 128 
net.ipv4.ip_local_port_range = 9000 65500 
net.core.rmem_default = 262144 
net.core.rmem_max = 4194304 
net.core.wmem_default = 262144 
net.core.wmem_max = 1048576 

4.  为 oracle 用户设置 shell limits.  
4.1   修改/etc/security/limits.conf  
[root@rac01 etc]# cd /etc/security/ 
[root@rac01 security]# vi limits.conf  
grid soft nproc 2047 
grid hard nproc 32768 
grid soft nofile 1024 
grid hard nofile 250000 

oracle soft nproc 2047 
oracle hard nproc 32768 
oracle soft nofile 1024 
oracle hard nofile 250000 

4.2   修改/etc/pam.d/login,如果不存在以下行，请加入 
session    required    pam_limits.so  

4.3   对默认 shell startup file 做变更，加入如下行到/etc/profie

if [ \$USER = "oracle" ] || [ \$USER = "grid" ]; then    
 if [ \$SHELL = "/bin/ksh" ]; then         
   ulimit ‐p  16384   
   ulimit ‐n 65536    
 else        
  ulimit ‐u 16384 ‐n 65536 
 fi  
  umask 022 
fi

4.4   设置 SELinux为 disable 
修改/etc/selinux/config文件,确保selinux设置为：SELINU=disabled

5.  创建 Oracle Inventory Directory    
[root@rac01 u01]# mkdir ‐p   /u01/product/oraInventory  
[root@rac01 u01]# chown ‐R grid:oinstall   /u01/product/oraInventory  
[root@rac01 u01]# chmod ‐R 775   /u01/product/oraInventory/  

6.   创建 Oracle Grid Infrastructure home 目录 
(注意：  11g单实例如果需要使用 ASM, grid 也必须安装，且必须放在 ORACLE_BASE 下,11g RAC则不行,它的 grid家目录必须另外放在一个地方，比如/u01/grid )
# mkdir  ‐p   /u01/grid  
# chown  ‐R   grid:oinstall   /u01/grid 
# chmod  ‐R   775   /u01/grid   

创建 Oracle Base  目录
# mkdir  ‐p   /u01/product/oracle  
# mkdir    /u01/product/oracle/cfgtoollogs  ‐‐  确保软件安装后 dbca 可以运行 
# chown  ‐R   oracle:oinstall   /u01/product/oracle  
# chmod  ‐R   775   /u01/product/oracle  

创建 Oracle RDBMS home 目录 
# mkdir  ‐p   /u01/product/oracle/11.2.0/db_1  
# chown  ‐R   oracle:oinstall    /u01/product/oracle/11.2.0/db_1  
# chmod  ‐R   775   /u01/product/oracle/11.2.0/db_1 

7.安装相应的包
RAC的安装基于Grid Infrastructure （GI）与 RDBMS，所需安装的包，与安装Orcle  RDBMS一样，可参考RDBMS 安装文档，也可以在GI 执行安装先决条件时再具体安装缺少的包。

用如下命令： rpm -q binutils compat-libstdc++-33 elfutils-libelf elfutils-libelf-devel gcc gcc-c++ glibc glibc-common glibc-devel glibc-headers kernel-headers ksh libaio  libaio-devel libgcc libgomp libstdc++ libstdc++-devel make numactl-devel sysstat unixODBC unixODBC-devel 检查相应的包，安装缺少的.

四、配置第二台节点raco2
关闭节点1，通过vmware复制一个新的节点出来。直接将rac1目录复制一份成rac2,然后修改.vmx文件中的配置，将 路径rac01相关的改成rac02.

将你启动RAC2 时，系统会弹出这个提示，选择I copied it，如图：

打开RAC2(Copy of RAC1),修改其中的配置。

1.修改hostname
将rac01 改成rac02
[root@node1 ~]# hostname rac02
[root@node1 ~]# vi /etc/sysconfig/network 
修改/etc/hosts文件中的:

这样重启之后机器名称就会变成rac02 了。

2.修改ip地址
先ifconfig 看一下：

这一步主要是为了记录下两个网卡的mac 地址。

[root@node1 ~]# cd /etc/sysconfig/network-scripts/
[root@node1 network-scripts]# mv ifcfg-eth0.bak ifcfg-eth0 -f
[root@node1 network-scripts]# mv ifcfg-eth1.bak ifcfg-eth1 -f
[root@node1 network-scripts]# vi ifcfg-eth0
修改IP 地址，192.168.100.101 为192.168.100.102
注意修改HWADDR 的值为前面ifconfig 中查看到的eth0 的HWaddr：00:0C:29:DA:74:13
[root@node1 network-scripts]# vi ifcfg-eth1
同理做修改，HWADDR 的值要修改为eth1 中的HWaddr:00:0C:29:DA:74:1D
最后重启一下网络服务

提示：此时两机使用4 个IP 或4 个别名互ping 应该都是通的了，如果不通，建议按照上述的操作步骤，检查一下网络的配置。

3.修改oracle 、grid用户下的环境变量:
[root@node2 network-scripts]# vi /home/oracle/.bash_profile
将ORACLE_SID=racdb1 改为ORACLE_SID=racdb2

[root@node2 network-scripts]# vi /home/grid/.bash_profile
将ORACLE_SID=+ASM1 改为ORACLE_SID=+ASM2
统统设置完成后，建议重启一下第2 个节点。

五、实现共享存储
1.共享磁盘划分规划：   
Block Device ASMlib Name     Size         Comments  
/dev/sdb1     OCR_VOTE01      10GB      ASM Diskgroup for OCR and Voting Disks 
/dev/sdc1     ASM_DATA01      10GB      ASM Data Diskgroup 
/dev/sdd1     ASM_DATA02      6GB       ASM Flash Recovery Area Diskgroup 

这里是虚拟机安装 RAC,  所以需要设置共享磁盘文件 (可以通过以下命令，也可以通过VMware 界面添加,注意选择磁盘时候需要选取 SCSI 1:1,SCSI 1:2，依次类推，多少个磁盘选择多少个)。如果是实体 Storage，这一步不需要。 

A.  建立一个文件夹用于存放共享磁盘文件  :    C:\Vmware\ASMSHARED  
B.  执行下面命令生成共享文件  
C:\>cd   C:\Program Files\VMware\VMware Server 

 C:\Program Files (x86)\VMware\VMware Workstation>vmware-vdiskmanager.exe -c -s 10Gb -a lsilogic -t 2    “C:\SharedDisk\ShareDiskOCR.vmdk”

 C:\Program Files (x86)\VMware\VMware Workstation>vmware-vdiskmanager.exe -c -s 10Gb -a lsilogic -t 2    “C:\SharedDisk\ShareDiskData.vmdk”

 C:\Program Files (x86)\VMware\VMware Workstation>vmware-vdiskmanager.exe -c -s 6  Gb -a lsilogic -t 2    “C:\SharedDisk\ShareDiskFlash.vmdk”

这样就生成了新的虚拟磁盘,其中‐s  10Gb 表示磁盘容量,‐a  表示接口类型 lsilogic 即 scsi 接口"，2 的意思是预分配磁盘空间,可以用‐t 0 选项,这样就不会占用空间了,实际用多少就多少. 可以看到在C:\ShareDisk中生成了 6 个文件。

2.关闭Linux 系统及虚拟机：到虚拟机目录比如 C:\ShareDisk\rac01，直接编辑*.vmx 文件,  加上下面语句(所有虚拟机节点). 
disk.locking="FALSE"
diskLib.dataCacheMaxSize="0"

scsi1.sharedBus="virtual"
scsi1.present = "TRUE"
scsi1.virtualDev="lsilogic"

scsi1:1.present = "TRUE"
scsi1:1.fileName = "C:\SharedDisk\ShareDiskOCR.vmdk"
scsi1:1.mode = "independent-persistent"
scsi1:1.deviceType="disk"
scsi1:1.redo = ""

scsi1:2.present = "TRUE"
scsi1:2.fileName = "C:\SharedDisk\ShareDiskData.vmdk"
scsi1:2.mode = "independent-persistent"
scsi1:2.deviceType="disk"

scsi1:3.present = "TRUE"
scsi1:3.fileName = "C:\SharedDisk\ShareDiskFlash.vmdk"
scsi1:3.mode = "independent-persistent"
scsi1:3.deviceType="disk"

scsi1:2.redo = ""
scsi1:3.redo = ""
extendedConfigFile = "Red Hat Linux.vmxf"
virtualHW.productCompatibility = "hosted"
cleanShutdown = "TRUE"
replay.supported = "FALSE"
replay.filename = ""
vmotion.checkpointFBSize = "33554432"
tools.remindInstall = "FALSE"
ethernet0.connectionType = "bridged"
ethernet1.connectionType = "nat"
tools.syncTime = "FALSE"
ethernet0.vnet = "VMnet0"
floppy0.present = "FALSE"
ide1:0.startConnected = "FALSE"
unity.wasCapable = "TRUE" 
(注意：这个文件中的每一行都不能重复，否则会报错。） 
最后开启虚拟机程序，查看每个节点虚拟机 Devices部分,当然也可以通过VMWare图形界面建立磁盘，注意共享磁盘选择SCSI 1而不是0才可以。

3.   划分共享磁盘  (在一个节点上运行 fdisk)  
[root@rac01 ~]# fdisk ‐l 
Disk /dev/sda: 42.9 GB, 42949672960 bytes 
255 heads, 63 sectors/track, 5221 cylinders 
Units = cylinders of 16065 * 512 = 8225280 bytes 

Device Boot       Start          End       Blocks    Id   System 
/dev/sda1    *            1          127      1020096    83   Linux 
/dev/sda2              128         1402     10241437+   83   Linux 
/dev/sda3             1403         1912      4096575    82   Linux swap / Solaris 
/dev/sda4             1913         5221     26579542+   83   Linux 

Disk /dev/sdb: 10.7 GB, 10737418240 bytes 
255 heads, 63 sectors/track, 1305 cylinders 
Units = cylinders of 16065 * 512 = 8225280 bytes 
Disk /dev/sdb doesn't contain a valid partition table 

Disk /dev/sdc: 10.7 GB, 10737418240 bytes 
255 heads, 63 sectors/track, 1305 cylinders 
Units = cylinders of 16065 * 512 = 8225280 bytes 
Disk /dev/sdc doesn't contain a valid partition table  

Disk /dev/sdd: 4294 MB, 4294967296 bytes 
255 heads, 63 sectors/track, 522 cylinders 
Units = cylinders of 16065 * 512 = 8225280 bytes 
Disk /dev/sdd doesn't contain a valid partition table 

[root@rac01 ~]# 

在任一节点上，分别对  /dev/sdb, /dev/sdc, /dev/sdd  进行磁盘分区。  最后结果如下：  
重新启动节点 1，2  ，查看是否都显示挂载正常。  

5.  安装及配置 ASMLib   (每个节点都需要安装)   
从Oracle OTN ASMLib网页下载ASMLib包， 使用uname –a查看系统核心版本，下载的ASMLib版本要与之匹配。  
[root@rac01 ~]# uname ‐a  
Linux rac01 2.6.18‐128.el5 #1 SMP 

查看是否有安装过： 
[root@rac01 ~]# rpm ‐qa | grep    oracleasm  
匹配的 ASMLib 文件如下  (以下也是文件安装顺序)：  
oracleasm‐support‐2.1.3‐1.el5.i386.rpm 
oracleasm‐2.6.18‐128.el5‐2.0.5‐1.el5.i686.rpm
oracleasmlib‐2.0.4‐1.el5.i386.rpm 

[root@rac01 oracleasm]# rpm ‐ivh oracleasm‐support‐2.1.3‐1.el5.i386.rpm   
0warning:  oracleasm‐support‐2.1.3‐1.el5.i386.rpm:  Header  V3  DSA  signature:  NOKEY,  key  ID 1e5e0159 
Preparing...                 ########################################### [100%] 
  1:oracleasm‐support       ########################################### [100%] 

[root@rac01 oracleasm]# rpm ‐ivh oracleasm‐2.6.18‐128.el5‐2.0.5‐1.el5.i686.rpm  
warning: oracleasm‐2.6.18‐128.el5‐2.0.5‐1.el5.i686.rpm: Header V3 DSA signature: NOKEY, key ID 1e5e0159 
Preparing...                 ########################################### [100%] 
   1:oracleasm‐2.6.18‐128.el########################################### [100%]

[root@rac01 oracleasm]# rpm ‐ivh oracleasmlib‐2.0.4‐1.el5.i386.rpm            
warning: oracleasmlib‐2.0.4‐1.el5.i386.rpm:  signature: NOKEY, key ID 1e5e0159 
Preparing...                 ########################################### [100%]
   1:oracleasmlib            ########################################### [100%]  
同样在其他节点也执行。  

6.  以 root 用户配置 ASMLib   (每个节点都需要安装)    
同样在其他节点也执行上面命令。

7．  使用 ASMLib 去标示 Shared Disks 作为 Candidate Disks，在一个节点执行即可。
 A.  使用 ASMLib 创建 ASM Disks ,  语法如下：
  # /usr/sbin/oracleasm   createdisk   disk_name   device_partition_name     
其中 disk_name 是你为 ASM  Disk 选择的一个名字，名字只能包含数字字母及下划线，比如OCR_VOTE01  ,  ASMDATA01  等.   device_partition_name  标示为 ASM 的系磁盘分区，如/dev/sdb1 , /dev/sdc1  等 。

如果你发现设置错误或需要 unmark这个磁盘，可以运行如下命令：   
# /usr/sbin/oracleasm    deletedisk   disk_name   

下面开始设置共享磁盘。   
# /usr/sbin/oracleasm   createdisk   OCR_VOTE01   /dev/sdb1   
# /usr/sbin/oracleasm   createdisk   ASMDATA01   /dev/sdc1   
# /usr/sbin/oracleasm   createdisk  BACKUP01    /dev/sdd1    

运行结果如下:

B.   在节点 1上为 RAC创建了所有的 ASM disks 后，使用 listdisks  命令确认他们的可用性。 

然后在所有其他节点上以 root 用户身份，使用 scandisks 命令扫描已经创建的 ASM 磁盘，也就是说，我们只需要在节点 1 上创建 ASM 磁盘，其他节点不需要。  

最后在其他节点通过 listdisks  检查 ASM 磁盘的可用性。  

六、安装Grid Infrastructure
1、设置ssh
1)保证两个节点的互通性：
   在Grid Infrastructure和Database 安装过程中，Oracle Universal Installer (OUI) 必须能够以grid的身份自动将软件复制到所有RAC 节点。这里我们通过配置ssh 让grid 用户拥有不输入密码即可访问各节点的能力。
   首先两个节点间互ping，要确保都是通的。
在节点2上ping节点1：

2)在节点 1 上：  
[root@rac01 ~]$ su - grid 
[grid@rac01 ~]$ cd /home/grid/ 
[grid@rac01 ~]$  mkdir~/.ssh 
[grid@rac01 ~]$ chmod   700 ~/.ssh   

 (密码输入为空)

3)在节点2上：
[root@rac02 ~]$ su - grid
[grid@rac02 ~]$ cd /home/grid/ 
[grid@rac02 ~]$ mkdir  ~/.ssh  
[grid@rac02 ~]$ chmod   700 ~/.ssh   

 4) 切换回rac01，接着执行：
[grid@rac01 ~]$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
[grid@rac02 ~]$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

提示：下列命令会提示你输入rac02 的oracle 密码，按照提示输入即可，如果失败可重新尝试执行命令。
rac01 节点：
[grid@rac01 ~]$ scp ~/.ssh/authorized_keys rac02:~/.ssh/authorized_keys

Rac2节点：
[grid@rac02 ~]$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
[grid@rac02 ~]$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
[grid@rac02 ~]$  scp ~/.ssh/authorized_keys rac01:~/.ssh/authorized_keys

5)测试节点 1，2 的 SSH 连通性。 
在节点 1 上：  

在节点 2 上：  

注意命令的返回信息，由于rac 对节点间时间较敏感，因此如果此处显示节点单时间不一至，建议同步(一般相隔超过20 秒就需要同步时间了)。
.
2.时钟同步：
在安装Oracle集群件和Oracle数据库软件时，Oracle安装程序将首先在本地节点上安装软件，然后再将软件远程复制到远程节点。如果两个RAC节点的日期和时间未同步，在安装过程中可能会报错。 

所有节点的时间必须同步，这通常是通过配置NTP服务实现的。如果用户的网络中已经有一个时间服务器，那么可以所有节点都指向它，否则可以从集群中挑选一个节点作为时间服务器，让其他节点与它同步。

假如用rac01 做服务器， 其IP 为:172.31.82.81， 修改配置文件
#vi /etc/ntp.conf
Server 127.127.1.0  -- 本地时钟
Fudge 127.127.1.0 stratum 11
Broadcastdelay 0.008

rac02 与rac01 同步,修改rac02的ntp 配置文件
# vi /etc/ntp.conf
Server 172.31.82.81  prefer
Driftfile /var/lib/ntp/drift
Broadcastdelay 0.008

修改完后在重启一下 ntp 服务
#/etc/init.d/ntpd restart

3.安装用于 Linux  的  cvuqdisk  程序包  

 1）在两个  Oracle RAC  节点上安装操作系统程序包  cvuqdisk。如果没有  cvuqdisk，集群验证实用程序就无法发现共享磁盘，当运行（手动运行或在  Oracle Grid  Infrastructure  安装结束时自动运行） 集群验证实用程序时， 您会收到这样的错误息： “Package cvuqdisk not installed” 
注意使用适用于你的硬件体系结构（例如，x86_64  或  i386）的  cvuqdisk RPM。  

cvuqdisk  RPM  包含在  Oracle  Grid  Infrastructure  安装介质上的  rpm  目录中。这里是在：/u01/packages/grid/rpm  目录中。  

2）手动运行 CVU 使用程序验证 Oracle  集群件要求(所有节点都执行)：
到 grid 软件解压的目录下执行 runcluvfy.sh  命令：  
[grid@racnode1 ~]$ cd   /u01/packages   
[grid@racnode1 grid]$ ./runcluvfy.sh stage -pre crsinst -n rac01,rac02  -fixup -verbose  

然后在节点 1 及节点 2 上使用 CVU 验证硬件和操作系统设置。 同样，在  rac01  节点上以具有用户等效性配置的  grid  用户帐户运行以下命令：  
[grid@rac01 ~]$ cd   /u01/packages/grid/    
[grid@rac01 grid]$ ./runcluvfy.sh   stage -post hwos -n rac01,rac02 -verbose   
查看  CVU  报告。CVU  执行的所有其他检查的结果报告应该为“passed” ，之后才能继续进行  Oracle Grid Infrastructure  的安装。  

同样在节点 2 上运行此验证脚本查看结果，同样，结果都为 passed 才能继续安装。  
4.安装Grid Infrastructure.
1）安装流程

此处选中的为OCR、 VOTE空间。

密码：welcome

按照提示依次在rac01,rac02上执行orainstRoot.sh，root.sh （ac01完成后再在rac02上执行）

脚本部分内容：

出现这两个错误可以忽略，下一步：

至此，集群grid安装完成.

5.集群的 Oracle Grid Infrastructure 的安装后任务:
以grid身份运行以下命令：
检查crs状态：

检查 Clusterware 资源:

检查集群节点:

检查两个节点上的 Oracle TNS 监听器进程:

确认针对 Oracle Clusterware 文件的 Oracle ASM 功能:
如果在 Oracle ASM 上安装了 OCR 和表决磁盘文件，则以 Grid Infrastructure 安装所有者的身份，使用下面的命令语法来确认当前正在运行已安装的 Oracle ASM： 

6.为数据和快速恢复区创建 ASM 磁盘组:

在 Disk Groups 选项卡中，单击 Create 按钮，在出现的画面中创建racdb_data卷： 

再次单击create，创建“快速恢复区”磁盘组: 

成后如图所示： 

单击Exit退出ASM配置向导。

七、安装Database软件:

这里只选择安装database software only,下一步： 

选择 Real Application Clusters database installation 单选按钮（此为默认选择），确保选中 Node Name