LVS-DR VIP和RIP不同网段的配置方法

it2022-05-05  116

在网上流传的很多文章中,LVS-DR模式都要求VIP和RIP在同一网段,很少有在不同网段配置成功的案例。但章文嵩博士已经在官网上明

确回答了是可以在不同网段的(见http://zh.linuxvirtualserver.org/node/155),负载调度器只要有一个网口和真实服务器是通过不分

段的网络连接起来就可以,真实服务器可以通过自己的路由器将响应报文发送给客户。也就是说Director至少要有两个网口才满足VIP和RIP

不在同一网段。LVS-HOWTO(http://www.austintek.com/LVS/LVS-HOWTO/HOWTO/LVS-HOWTO.LVS-DR.html)也说明了LVS-DR的要求。从realserver到client路由,可以是另外的,也可能通过director,但要使用director做路由必须对director的内核打forward_shared

补丁,不然director不会转发源IP是自已的包(见http://zh.linuxvirtualserver.org/node/249#comment-352)。如果使用另外的路由,则只要求能从realserver到client就行了,不需要得到client的响应,因此realserver可以放在防火墙后面。下面是具体的配置过程:

 

director有两块网卡:eth0 192.168.2.254 用于跟realserver连接eth1 61.180.79.110 外网IP,VIP也绑定到此网卡

director的配置1、安装ipvsadmipvsadm是用来管理lvs设置的命令行工具,可以用来查看当前状态。yum install ipvsadm

2、安装keepalivedkeepalived可以用于双机热备的自动故障转移,也可以管理lvs的realserver列表,自动对realserver做健康检查。

wget -c http://www.keepalived.org/software/keepalived-1.2.2.tar.gztar zxvf keepalived-1.2.2.tar.gzcd keepalived-1.2.2./configure --prefix=/usr --sysconfdir=/etc

如果最后显示Use IPVS Framework : NoIPVS sync daemon support : No

请指定内核源码目录再运行configure./configure --prefix=/usr --sysconfdir=/etc --with-kernel-dir=/usr/src/kernels/linux-2.6.35.9

make && make install 将keepalived加入服务中chkconfig --add keepalived chkconfig --level 35 keepalived on

修改配置文件mv /etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf.old vi /etc/keepalived/keepalived.conf

填入以下内容

! Configuration File for keepalived global_defs { notification_email { root@localhost #需要本机SMTP服务 } notification_email_from root@localhost smtp_server 127.0.0.1 smtp_connect_timeout 30 router_id LVS_DEVEL }vrrp_instance VI_1 { state MASTER #备份服务器上将MASTER改为BACKUP interface eth1 #HA监测网络接口(绑定VIP的网口) virtual_router_id 1 #主、备机的virtual_router_id一定要相同,必须相同!!! priority 100 #主、备机取不同的优先级,主机值较大,备份机值较小 advert_int 1 #VRRP Multicast广播周期秒数 authentication { auth_type PASS #VRRP认证方式 auth_pass 1111 #VRRP口令字 } virtual_ipaddress { 61.180.79.18 #LVS虚拟地址,可写多个VIP,一行一个VIP } }virtual_server 61.180.79.18 80 { delay_loop 2 #延时等待时间 lb_algo wrr #轮询算法 lb_kind DR #传输模式 persistence_timeout 0 #单一链接重连保持时间秒 protocol TCP real_server 192.168.2.11 80 { weight 1 #权重 TCP_CHECK { #realserve的状态检测设置部分,单位是秒 connect_timeout 3 nb_get_retry 3 delay_before_retry 3 } } real_server 192.168.2.12 80 { weight 1 #权重 TCP_CHECK { #realserve的状态检测设置部分,单位是秒 connect_timeout 3 nb_get_retry 3 delay_before_retry 3 } }}

realserver的配置

rs1和rs2的IP分别是192.168.2.11 192.168.2.121、安装nginx用于测试wget -c http://nginx.org/download/nginx-0.8.54.tar.gztar zxvf nginx-0.8.54.tar.gzcd nginx-0.8.54./configure --prefix=/usr/local/nginxmake && make install启动nginx/usr/local/nginx/sbin/nginx

2、绑定VIP到loifconfig lo:0 61.180.79.18 broadcast 61.180.79.18 netmask 255.255.255.255 up

3、将绑定VIP的网卡设置为no_arpvi /etc/sysctl.conf增加net.ipv4.conf.lo.arp_ignore = 1net.ipv4.conf.lo.arp_announce = 2net.ipv4.conf.all.arp_ignore = 1net.ipv4.conf.all.arp_announce = 2使之生效sysctl -p

4、设置realserver能到达client的路由网关route add default gw 192.168.2.1

我开始测试的时候,使用一个tp-link的无线宽带路由器,一直配置不成功,后来用tcpdump分析才发现,这个路由器就是不转发从

realserver到client的数据包,不知道什么原因,但直接ping client又是通的,后来直接用一台linux做路由就可以了

(net.ipv4.ip_forward = 1,而且这台路由启用NAT也不影响)。

如果要使用director做realserver到client的网关,就需要给director的内核打补丁,我是使用最新的内核编译的,过程如下:wget -c http://www.kernel.org/pub/linux/kernel/v2.6/linux-2.6.35.9.tar.bz2tar -xjvf linux-2.6.35.9.tar.bz2mv linux-2.6.35.9 /usr/src/kernels

为内核打forward_shared补丁cd /usr/src/kernelswget -c http://www.ssi.bg/~ja/hidden-forward_shared-2.6.34-2.diff /usr/src/kernels/linux-2.6.35.9patch -p1 < ../forward_shared-2.6.34-2.diff

cd

为了方便编译配置,将boot目录下的配置文件复制到 /usr/src/kernels/linux-2.6.35.9cp /boot/config-2.6.18-194.32.1.el5 /usr/src/kernels/linux-2.6.35.9/.config

make menuconfig 选择 Load an Alternate Configuration 回车确认载入

默认情况下启动时会提示如下错误:mount: could not find filesystem ‘/dev/root’setuproot: moving /dev failed: No such file or directorysetuproot: error mounting /proc: No such file or directorysetuproot: error mounting /sys: No such file or directoryswitchroot: mount failed: No such file or directoryKernel panic – not syncing: Attempted to kill init!

解决方法:执行完make menuconfig后,修改/usr/src/kernels/linux-2.6.35.9/.config

将#CONFIG_SYSFS_DEPRECATED_V2 is not set默认被注释掉的,将其改为y。即修改为CONFIG_SYSFS_DEPRECATED_V2=y

根据需要再选择编译选项;make (这个过程相当的漫长,起码半个小时以上)

如果没有错误,执行模块编译安装make modules_install编译内核安装make install

sh /usr/src/kernels/linux-2.6.35.9/arch/x86/boot/install.sh 2.6.35.9 arch/x86/boot/bzImage System.map "/boot"看到如上提示表示编译成功,

如果没有看到错误,可以修改启动项 让 centos 启动时加载 新内核, (如有编译错误请勿修改启动配置,否则启动失败)

vi /boot/grub/grub.confdefault=0 (修改为0 即可)

不知为什么这个内核启动的时候会报错insmod: error inserting '/lib/dm-region-hash.ko' : -1 File exists解决办法如下:

1、解压initrd文件[root@vhost ~]# cp /boot/initrd-2.6.35.4.img /tmp[root@vhost ~]# cd /tmp/[root@vhost tmp]# lsinitrd-2.6.35.4.img[root@vhost tmp]# mkdir newinitrd[root@vhost tmp]# cd newinitrd/[root@vhost newinitrd]# zcat ../initrd-2.6.35.4.img |cpio -i11282 blocks释放之后看到如下内容[root@vhost newinitrd]# lsbin dev etc init lib proc sbin sys sysroot2、下边就是编辑init,删掉其中重复的四行中的两行echo "Loading dm-region-hash.ko module"insmod /lib/dm-region-hash.koecho "Loading dm-region-hash.ko module"insmod /lib/dm-region-hash.ko3、重新打包initrd[root@vhost newinitrd]# find .|cpio -c -o > ../initrd11282 blocks[root@vhost newinitrd]# cd ..[root@vhost tmp]# gzip -9 < initrd > initrd.img[root@vhost tmp]# lsinitrd-2.6.35.4.img initrd initrd.img newinitrdinitrd.img就是重新打包的initrd了,然后把initrd.img拷贝到/boot[root@vhost tmp]# mv /boot/initrd-2.6.35.4.img /boot/initrd-2.6.35.4.img.bak[root@vhost tmp]# mv initrd.img /boot/initrd-2.6.35.4.img[root@vhost tmp]# reboot这样“insmod: error inserting '/lib/dm-region-hash.ko' : -1 File exists” 就不会有了使用新内核重启后vi /etc/sysctl.conf修改或增加net.ipv4.ip_forward = 1net.ipv4.conf.default.rp_filter = 0net.ipv4.conf.eth0.forward_shared = 1net.ipv4.conf.all.forward_shared = 1

sysctl -p注意查看forward_shared选项是否成功设置

这样,就可以将realserver的网关改为192.168.2.254了

转载于:https://www.cnblogs.com/seawwh/archive/2011/11/01/2231212.html


最新回复(0)