Oracle linux7.2安装11g RAC

注意：所有需要在两台主机上都设置的操作都有注明，贴出过程仅以rac1为模版

IP规划：

#Public IP

192.168.1.22  rac1

192.168.1.33  rac2

#Private IP

1.1.1.111 rac1-priv

1.1.1.222 rac2-priv

#Virtual IP

192.168.1.23 rac1-vip

192.168.1.34 rac2-vip

#Scan IP

192.168.1.77 rac-scan

更改IP地址（rac1和rac2）

[root@rac1 network-scripts]# vi ifcfg-eno16777736

更改：

TYPE=Ethernet

BOOTPROTO=static                                                                                                                                                  

DEFROUTE=yes

PEERDNS=yes

PEERROUTES=yes

IPV4_FaiLURE_FATAL=no

IPV6INIT=no

IPV6_AUTOCONF=yes

IPV6_DEFROUTE=yes

IPV6_PEERDNS=yes

IPV6_PEERROUTES=yes

IPV6_FAILURE_FATAL=no

NAME=eno16777736

UUID=eeaef3ba-b1fe-498f-95e8-3a982ec8931e

DEVICE=eno16777736

ONBOOT=yes

IPADDR=192.168.1.22

NETMASK=255.255.255.0

GATEWAY=192.168.1.1

DNS1=8.8.8.8

~                

由于实验环境缺少网卡2的配置文件，所以自己copy一份手动更改

[root@rac1 network-scripts]# cp ifcfg-eno16777736 ifcfg-eno33554984

[root@rac1 network-scripts]# vi ifcfg-eno33554984

添加：

TYPE=Ethernet

BOOTPROTO=static

DEFROUTE=yes

PEERDNS=yes

PEERROUTES=yes

IPV4_FAILURE_FATAL=no

IPV6INIT=no

IPV6_AUTOCONF=yes

IPV6_DEFROUTE=yes

IPV6_PEERDNS=yes

IPV6_PEERROUTES=yes

IPV6_FAILURE_FATAL=no

NAME=eno33554984

UUID=7b040b98-b78e-44fa-91e1-5e115f0bdd9f

DEVICE=eno33554984

ONBOOT=yes

IPADDR=1.1.1.111

NETMASK=255.255.255.0

GATEWAY=1.1.1.1

DNS1=8.8.8.8

~                                                                                           

根据自己的IP规划，rac2相同操作

测试两边能否互相ping通

修改主机名

（测试环境安装系统时，已修改好）~

查看防火墙状态（rac1和rac2）

 [root@rac1 ~]# systemctl status firewalld     

关闭防火墙（当前状态）

[root@rac1 ~]# systemctl stop firewalld

关闭防火墙（永久）

[root@rac1 ~]# systemctl disable firewalld

修改host文件（rac1和rac2）

[root@rac2 network-scripts]# vi /etc/hosts

添加：

#Public IP

172.16.171.22  rac1

172.16.171.33  rac2

#Private IP

1.1.1.111 rac1-priv

1.1.1.222 rac2-priv

#Virtual IP

172.16.171.23 rac1-vip

172.16.171.34 rac2-vip

#Scan IP

172.16.171.77 rac-scan

重启网络服务（rac1和rac2）

[root@rac1 ~]# service network restart

配置内核参数（rac1和rac2）：[root@rac1 ~]# vi /etc/sysctl.conf

添加：

# for oracle 11g

fs.aio-max-nr = 1048576

fs.file-max = 6815744

kernel.shmall = 2147483648

kernel.shmmax = 68719476736

kernel.shmmni = 4096

kernel.sem = 250 32000 100 128

net.ipv4.ip_local_port_range = 9000 65500

net.core.rmem_default = 262144

net.core.rmem_max = 4194304

net.core.wmem_default = 262144

net.core.wmem_max = 1048586

使参数生效（rac1和rac2）：[root@rac1 ~]# /sbin/sysctl –p

更改limits文件（rac1和rac2）：[root@rac1 ~]# vi /etc/security/limits.conf

添加：

grid soft nproc 2047

grid hard nproc 16384

grid soft nofile 1024

grid hard nofile 65536

oracle soft nproc 2047

oracle hard nproc 16384

oracle soft nofile 1024

oracle hard nofile 65536

更改login文件（rac1和rac2）：[root@rac1 ~]# vi /etc/pam.d/login

添加：

session    required     pam_limits.so

更改profile文件（rac1和rac2）：[root@rac1 ~]# vi /etc/profile

添加：

if [ $USER = "oracle" ] || [ $USER = "grid" ]; then

if [ $shell = "/bin/ksh" ]; then

ulimit -p 16384

ulimit -n 65536

else

ulimit -u 16384 -n 65536

fi

umask 022

fi

关闭selinux（rac1和rac2）：[root@rac1 ~]#  vi /etc/selinux/config

修改：SELINUX=disabled

添加：

getsebool

getsebool: SELinux is disabled

重启主机

添加用户和组（rac1和rac2）

groupadd -g 501 oinstall

groupadd -g 502 dba

groupadd -g 503 oper

groupadd -g 504 asmadmin

groupadd -g 505 asmoper

groupadd -g 506 asmdba

useradd -g oinstall -G dba,asmdba,oper oracle

useradd -g oinstall -G asmadmin,asmdba,asmoper,oper,dba grid

设置grid’和oracle密码（rac1和rac2）：

[root@rac1 ~]# passwd grid

[root@rac1 ~]# passwd oracle

创建目录（rac1和rac2）：

mkdir -p /u01/app/oracle

mkdir -p /u01/app/grid

mkdir -p /u01/app/11.2.0/grid

chown -R grid:oinstall /u01/app/grid

chown -R grid:oinstall /u01/app/11.2.0

chown -R oracle:oinstall /u01/app/oracle

mkdir -p /u01/app/oraInventory

chown -R grid:oinstall /u01/app/oraInventory

chmod -R 777 /u01/app/oraInventory

chmod -R 777 /u01

切换用户，添加环境变量（rac1和rac2）

[root@rac1 ~]# su - oracle

[oracle@rac1 ~]$ vi /home/oracle/.bash_profile

添加：

export ORACLE_SID=rac1

export ORACLE_BASE=/u01/app/oracle

export ORACLE_HOME=$ORACLE_BASE/product/11.2.0/dbhome_1

export LD_LIBRARY_PATH=$ORACLE_HOME/lib

export NLS_DATE_FORMAT="yyyy-mm-dd HH24:MI:SS"

export TMP=/tmp

export TMPDIR=$TMP

export PATH=$PATH:$ORACLE_HOME/bin

注意：rac2里面：export ORACLE_SID=rac2

[oracle@rac1 ~]$ su - grid

口令：

[grid@rac1 ~]$ vim .bash_profile

添加：

export ORACLE_SID=+ASM1

export ORACLE_BASE=/u01/app/grid

export ORACLE_HOME=/u01/app/11.2.0/grid

export LD_LIBRARY_PATH=$ORACLE_HOME/lib

export NLS_DATE_FORMAT="yyyy-mm-dd HH24:MI:SS"

export PATH=$ORACLE_HOME/bin:$PATH

注意：rac2里面export ORACLE_SID=+ASM2       

关闭设备，修改虚拟机vmx文件。以记事本方式打开（rac1和rac2分别操作）。添加：

disk.EnableUUID="TRUE"

disk.locking = "false"

scsi1.shared=”TRUE”

diskLib.dataCacheMaxSize = "0"

diskLib.dataCacheMaxReadAheadSize = "0"

diskLib.DataCacheMinReadAheadSize = "0"

diskLib.dataCachePageSize = "4096"

diskLib.maxUnsyncedWrites = "0"

scsi1:1.deviceType = "disk"

scsi1:2.deviceType = "disk"

scsi1:3.deviceType = "disk"

scsi1:4.deviceType = "disk"

scsi1:5.deviceType = "disk"

scsi1:1.shared = "true"

scsi1:2.shared = "true"

scsi1:3.shared = "true"

scsi1:4.shared = "true"

scsi1:5.shared = "true

虚拟机编辑设置，添加三块盘，分别叫：OCR_VOTE.vmdk
data.vmdk       fra.vmdk（注意磁盘的大小）

剩下两块磁盘相同操作

注意：磁盘名以及磁盘大小和虚拟设备节点SCIS选择1：2和1：3

rac2里面磁盘添加

剩下两块磁盘相同操作，注意虚拟设备节点SCIS选择1：2和1：3与rac1上面磁盘对应

开启虚拟机

查看磁盘是否挂载（rac1和rac2）

[root@rac1 ~]# fdisk –l

查询磁盘UUID（rac1和rac2）

如果uuid查询不到，检查添加的虚拟机文件是否正确

虚拟机的vmx文件增加了disk.enableUUID = "TRUE" 

[root@rac1 ~]# /usr/lib/udev/scsi_id -g -u /dev/sdb

36000c2917d180b5daef20885fa95bfbe

[root@rac1 ~]# /usr/lib/udev/scsi_id -g -u /dev/sdc

36000c291b9457755e6bdafe27a6dd685

[root@rac1 ~]# /usr/lib/udev/scsi_id -g -u /dev/sdd

36000c29c91113958099603eb65a72ce3

配置udev rules文件

/etc/udev/rule.d/99-oracle-asmdevices.rules

[root@rac1 rules.d]# vi 99-oracle-asmdevices.rules

添加：

KERNEL=="sd*[!0-9]", ENV{DEVTYPE}=="disk", SUBSYSTEM=="block",  PROGRAM=="/usr/lib/udev/scsi_id -g -u -d $devnode",  RESULT=="36000c29e1359ab575540edf6a00fd489", RUN+="/bin/sh -c 'mknod /dev/asmdisk01 b  $major $minor; chown grid:oinstall /dev/asmdisk01; chmod 0660 /dev/asmdisk01'"

KERNEL=="sd*[!0-9]", ENV{DEVTYPE}=="disk", SUBSYSTEM=="block",  PROGRAM=="/usr/lib/udev/scsi_id -g -u -d $devnode",  RESULT=="36000c2988f455427ca667639a40ee44f", RUN+="/bin/sh -c 'mknod /dev/asmdisk02 b  $major $minor; chown grid:oinstall /dev/asmdisk02; chmod 0660 /dev/asmdisk02'"

KERNEL=="sd*[!0-9]", ENV{DEVTYPE}=="disk", SUBSYSTEM=="block",  PROGRAM=="/usr/lib/udev/scsi_id -g -u -d $devnode",  RESULT=="36000c29c692398db6baa48338cc7b9b8", RUN+="/bin/sh -c 'mknod /dev/asmdisk03 b  $major $minor; chown grid:oinstall /dev/asmdisk03; chmod 0660 /dev/asmdisk03'"

运行：（rac1和rac2）

检查新的设备名称:

[root@rac1 rules.d]# /sbin/udevadm trigger --type=devices --action=change

重新加载UDEV（rac1和rac2）

[root@rac1 rules.d]# /sbin/udevadm control –reload

为了诊断udev（rac1和rac2）

[root@rac1 rules.d]# /sbin/udevadm test /sys/block/sdb

[root@rac1 rules.d]# /sbin/udevadm test /sys/block/sdc

[root@rac1 rules.d]# /sbin/udevadm test /sys/block/sdd

查看是否绑定成功

[root@rac1 rules.d]# ls /dev/asm*

/dev/asmdisk01  /dev/asmdisk02  /dev/asmdisk03

解压grid安装包

Root用户运行运行图形化

[root@rac1 u01]# xhost +

切换用户

[root@rac1 u01]# su – grid

设置display

（xmanager远程连接运行图像化）

[grid@rac1 ~]$ export DISPLAY=远程机器的IP地址:0.0

安装grid

[grid@rac1 ~]$ cd /u01/grid/

[grid@rac1 grid]$ ./runInstaller

挂载光盘

[root@rac1 dev]# mount /dev/cdrom /mnt/

安装所需依赖包（rac1和rac2）

[root@rac1 /]# cd /mnt/Packages

[root@rac1 Packages]# rpm -ivh elfutils-libelf-devel-0.163-3.el7.x86_64.rpm

[root@rac1 Packages]# rpm -ivh libaio-devel-0.3.109-13.el7.x86_64.rpm

缺少pdksh-5.2.14这个包，网上下载，安装依赖包

[root@rac1 u01]# rpm -ivh pdksh-5.2.14-37.el5_8.1.x86_64.rpm

运行脚本（rac1和rac2）

[root@rac1 system]# cd /u01/app/oraInventory/

[root@rac1 system]# ./orainstRoot.sh

[root@rac1 system]# cd /u01/app/11.2.0/grid/

[root@rac1 system]# ./root.sh

运行root脚本报错

ohasd failed to start

Failed to start the Clusterware. Last 20 lines of the alert log follow:

2015-05-23 23:37:45.460:

[client(13782)]CRS-2101:The OLR was formatted using version 3.

原因：因为RHEL 7使用systemd而不是initd运行进程和重启进程，而root.sh通过传统的initd运行ohasd进程。

解决方法：

取消root.sh重新运行

/u01/app/11.2.0/grid/crs/install/roothas.pl -deconfig -force –verbose

1. 以root用户创建服务文件

#touch /usr/lib/systemd/system/ohas.service

#chmod 777 /usr/lib/systemd/system/ohas.service

2. 将以下内容添加到新创建的ohas.service文件中

[root@rac1 init.d]# cat /usr/lib/systemd/system/ohas.service

[Unit]

Description=Oracle High Availability Services

After=syslog.target

[Service]

ExecStart=/etc/init.d/init.ohasd run >/dev/null 2>&1 Type=simple

Restart=always

[Install]

WantedBy=multi-user.target

3. 以root用户运行下面的命令

systemctl daemon-reload

systemctl enable ohas.service

systemctl start ohas.service

4. 查看运行状态

[root@rac1 init.d]# systemctl status ohas.service

ohas.service - Oracle High Availability Services

   Loaded: loaded (/usr/lib/systemd/system/ohas.service; enabled)

   Active: failed (Result: start-limit) since Fri 2015-09-11 16:07:32 CST; 1s aGo

  Process: 5734 ExecStart=/etc/init.d/init.ohasd run >/dev/null 2>&1 Type=simple (code=exited, status=203/EXEC)

 Main PID: 5734 (code=exited, status=203/EXEC)

Sep 11 16:07:32 rac1 systemd[1]: Starting Oracle High Availability Services...

Sep 11 16:07:32 rac1 systemd[1]: Started Oracle High Availability Services.

Sep 11 16:07:32 rac1 systemd[1]: ohas.service: main process exited, code=exited, status=203/EXEC

Sep 11 16:07:32 rac1 systemd[1]: Unit ohas.service entered failed state.

Sep 11 16:07:32 rac1 systemd[1]: ohas.service holdoff time over, scheduling restart.

Sep 11 16:07:32 rac1 systemd[1]: Stopping Oracle High Availability Services...

Sep 11 16:07:32 rac1 systemd[1]: Starting Oracle High Availability Services...

Sep 11 16:07:32 rac1 systemd[1]: ohas.service start request repeated too quickly, refusing to start.

Sep 11 16:07:32 rac1 systemd[1]: Failed to start Oracle High Availability Services.

Sep 11 16:07:32 rac1 systemd[1]: Unit ohas.service entered failed state.

此时状态为失败，原因是现在还没有/etc/init.d/init.ohasd文件。

下面可以运行脚本root.sh 不会再报ohasd failed to start错误了。

如果还是报ohasd failed to start错误，可能是root.sh脚本创建了init.ohasd之后，ohas.service没有马上启动，解决方法参考以下：

当运行root.sh时，一直刷新/etc/init.d ，直到出现 init.ohasd 文件，马上手动启动ohas.service服务 命令：systemctl start ohas.service

[root@rac1 init.d]# systemctl status ohas.service

ohas.service - Oracle High Availability Services

   Loaded: loaded (/usr/lib/systemd/system/ohas.service; enabled)

   Active: active (running) since Fri 2015-09-11 16:09:05 CST; 3s ago

 Main PID: 6000 (init.ohasd)

   CGroup: /system.slice/ohas.service

           6000 /bin/sh /etc/init.d/init.ohasd run >/dev/null 2>&1 Type=simple

           6026 /bin/sleep 10

Grid用户：检查是否安装正确完成（rac1和rac2）

[grid@rac1 grid]$ crs_stat –t

配置asm磁盘

使用grid用户执行asmca

[grid@rac1 grid]$ asmca

Root用户解压oracle，oracle用户安装oracle

[oracle@rac1 database]$ ./runInstaller

[oracle@rac1 database]$ export DISPLAY=远程机器的IP地址:0.0

.

Oracle用户：解决方法（rac1）

[oracle@rac1 lib]$ cd /$ORACLE_HOME/sysman/lib

 [oracle@rac1 lib]$ cp ins_emagent.mk ins_emagent.mk.bak

[oracle@rac1 lib]$ vi ins_emagent.mk

输入/NMECTL 快速查找，在参数后面加上-lnnz11  第一个是字母l 后两个是数字1

然后回到界面点击retry

运行脚本(rac1和rac2)

[root@rac1 ~]# cd /u01/app/oracle/product/11.2.0/dbhome_1/

[root@rac1 ~]# ./root/sh

Oracle用户DBCA创建数据库（rac1）

注意oracle_sid与之前设置的环境变量里的相符合

至此，安装完成，后续测试该环境是否能够正常运行。