服务器Iscsi存储建设方案.docx

2015.09
简介
服务器存储，既是把服务器硬件资源，通过软件、技术为网络中其它设备提供存储服务；
考虑到客户网络环境与业务情况，本次我们为用户提供了服务器+Iscsi技术，通过IP-SAN给业务系统提供可靠、稳定、低成高，高利用率的存储解决方案；
iSCSI（internet SCSI）技术由IBM公司研究开发，是一个供硬件设备使用的、可以在IP协议的上层运行的SCSI指令集，这种指令集合可以实现在IP网络上运行SCSI协议，使其能够在诸如高速千兆以太网上进行路由选择。iSCSI技术是一种新储存技术，该技术是将现有SCSI接口与以太网络(Ethernet)技术结合，使服务器可与使用IP网络的储存装置互相交换资料。
iSCSI是一种基于TCP/IP 的协议，用来建立和管理IP存储设备、主机和客户机等之间的相互连接，并创建存储区域网络（SAN）。SAN 使得SCSI 协议应用于高速数据传输网络成为可能，这种传输以数据块级别（block-level）在多个数据存储网络间进行。SCSI 结构基于C/S模式，其通常应用环境是：设备互相靠近，并且这些设备由SCSI 总线连接。
iSCSI 的主要功能是在TCP/IP 网络上的主机系统（启动器 initiator）和存储设备（目标器 target）之间进行大量数据的封装和可靠传输过程。
本次系统的拓扑结构如下：

方案介绍
工作过程：
当iSCSI主机应用程序发出数据读写请求后，操作系统会生成一个相应的SCSI命令，该SCSI命令在iSCSI initiator层被封装成ISCSI消息包并通过TCP/IP传送到设备侧，设备侧的iSCSI target层会解开iSCSI消息包，得到SCSI命令的内容，然后传送给SCSI设备执行；设备执行SCSI命令后的响应，在经过设备侧iSCSI target层时被封装成ISCSI响应PDU，通过TCP/IP网络传送给主机的ISCSI initiator层，iSCSI initiator会从ISCSI响应PDU里解析出SCSI响应并传送给操作系统，操作系统再响应给应用程序。
主要优势：
这几年来，iSCSI存储技术得到了快速发展。iSCSI的最大好处是能提供快速的网络环境，虽然其性能和带宽跟光纤网络还有一些差距，但能节省企业约30-40%的成本。iSCSI技术优点和成本优势的主要体现包括以下几个方面：
硬件成本低：
构建iSCSI存储网络，除了存储设备外，交换机、线缆、接口卡都是标准的以太网配件，价格相对来说比较低廉。同时，iSCSI还可以在现有的网络上直接安装，并不需要更改企业的网络体系，这样可以最大程度地节约投入。
操作简单，维护方便：
对iSCSI存储网络的管理，实际上就是对以太网设备的管理，只需花费少量的资金去培训iSCSI存储网络管理员。当iSCSI存储网络出现故障时，问题定位及解决也会因为以太网的普及而变得容易。
扩充性强：
对于已经构建的iSCSI存储网络来说，增加iSCSI存储设备和服务器都将变得简单且无需改变网络的体系结构。
带宽和性能：iSCSI存储网络的访问带宽依赖以太网带宽。随着千兆以太网的普及和万兆以太网的应用，iSCSI存储网络会达到甚至超过FC（FiberChannel，光纤通道）存储网络的带宽和性能。突破距离限制：iSCSI存储网络使用的是以太网，因而在服务器和存储设备的空间布局上的限制就会少了很多，甚至可以跨越地区和国家。
安全性：
iSCSI和FC采用不同的方法保证存储访问的安全，这可能是多协议存储架构师必须解决的最大问题。FC利用
FC交换机实行分区，通过全局名称排列LUN编号和主机标识，而iSCSI采用上述隔离iSCSI的物理和虚拟方法，通过IP地址、主机系统和存储设备的名称、内部/外部CHAP身份验证等方式限制访问，从而保证存储安全。
建设过程
1 准备工作
iSCSI可分享的设备类型有很多，包括镜像文件（*.img）、分区（partition）、物理硬盘、raid设备、逻辑卷等，下面我们将准备其中的几种来测试，其他类型大家可以自行测试。
1.1 模拟镜像
在iSCSI Target的/srv目录下创建一个200M大小的镜像文件。
# mkdir /srv/iscsi
# dd if=/dev/zero of=/srv/iscsi/disk1.img bs=1M count=200
# ll -lh /srv/iscsi

1.2 建立分区
创建一个500M大小的分区/dev/sdb1.
# fdisk /dev/sdb

1.3 创建逻辑卷
创建一个800M大小的LV.
# pvcreate /dev/sdc
# vgcreate vg0 /dev/sdc
# lvcreate -L 800M -n lv1 vg0

2配置iSCSI Target
2.1 安装tgt
CentOS自带了scsi-target-utils软件，我们使用该软件进行target设置。
# yum -y install scsi-target-utils
2.2 配置tgt
tgt的主配置文件为/etc/tgt/，下面我们来设置改文件。
在该文件最后新增以下设置：

<targetiqn.2014-07.dev.iscsi-target:iscsidisk>
backing-store /srv/iscsi/disk1.img
backing-store /dev/sdb1
backing-store /dev/vg0/lv1
backing-store /dev/sdd
</target>

说明：
iqn = iSCSI Qualified Name
iSCSI target的名称规则如下：
iqn.2014-07.dev.iscsi-target:iscsidisk
iqn.年份-月份.域名反写.设备识别
每个在同一个target上的backing-store 称为逻辑单元号（Logical Unit Number，LUN）；
2.3 启动iSCSI target
# /etc//tgtd start
# chkconfigtgtd on
# netstat -tulnp|greptgt

2.4 查看iSCSI target
# tgt-admin –show

LUN0 是控制器，可以看到各个LUN的大小和磁盘路径。
至此，iSCSI Target 设定完毕。
3、配置iSCSI Initiator
3.1 安装initiator
# yum -y install iscsi-initiator-utils
3.2 设置开机启动
# chkconfigiscsid on
# chkconfigiscsi on
3.3 配置文档
initiator的配置文档位于/etc/iscsi/，该目录下有两个文件，和，
其中是其配置文件，是标记了initiator的名称，它的默认名称是InitiatorName=iqn.1994-.redhat:b45be5af6021，我们可以根据实际情况进行更改，比较好区分，这里我们修改为InitiatorName=iqn.2014-07.dev.iscsi-initiator:initiator。

因为在target里面，我们并没有设置访问限制，所以文件并不需要修改。
3.4 侦测target
如果我们事先不知道目标主机的target名称，我们就需要进行侦测，下面来讲解。
# iscsiadm -m discovery -t sendtargets

说明：
-m discovery//侦测target
-t sendtargets//通过iscsi协议
-p IP:port//指定target的IP和port，不写port的话，默认为3260
3.5 查看nodes
iscsiadm侦测到的结果会写入/var/lib/iscsi/nodes/ 中，因此只需启动/etc//iscsi就能够在下次开机时，自动连接到正确的target了。
# ll -R /var/lib/iscsi/nodes/

侦测信息都写入了/var/lib/iscsi/nodes/iqn.2014-07.dev.iscsi-target:iscsidisk/192.168.1.21,3260,1/default 文件中了。
3.6 连接target
查看目前系统上面所有的target
# iscsiadm -m node
登录target
# iscsiadm -m node -T iqn.2014-07.dev.iscsi-target:iscsidisk –login

3.7 查看磁盘情况
# fdisk –l

可以看到，initiator 上面多了四块硬盘，大小和target上的LUN一致。这时你就可以像使用本地磁盘一样使用这些iSCSI设备了，下面我们来测试。
3.8 将/dev/sdb和/dev/sdc创建成LV挂载使用
创建LV
# pvcreate /dev/sdb /dev/sdc
# vgcreateiscsi /dev/sdb /dev/sdc
# lvcreate -L 1G -n iscsilviscsi

格式化并挂载
# mkfs.ext4 /dev/iscsi/iscsilv
# mkdir /mnt/iscsi
# vi /etc/fstab

创建测试文件

挂载成功，创建测试文件成功。
3.9 重启测试

测试成功。
3.10 查看target信息
# tgt-admin –show

可以看到，此时使用该target的initiator 为iqn.2014-07.dev.iscsi-initiator:initiator，也就是我们上面更改的initiatorname，IP地址为。
至此，iSCSI 置完毕