一,情景再现
今早7点多接到客户的一个需求,要求做Linux下的单网卡的端口转发,给了如下一张图:
这里假定左侧的IP为服务器A,右侧为服务器B,现在需要将到A服务器的某些IP和端口的访问转发至服务器B上的相关IP和端口,服务器A和服务器B不在同一网段(这里有个小坑,后面再说)。需求说完,下面我用一个实验来还原下这个需求的实现过程。
二,实验拓扑
这里说明一下,Server A就是负责转发的服务器,Server B上安装有Apache提供服务,现在让Client通过Server A的81端口来访问Server B的80端口,注意,这里虽然是内网环境,但原理跟客户的真实需求是一致的。
三,实验过程
(1) 首先在Server B上安装好Apache:
[root@serverB ~]# yum install httpd -y[root@serverB ~]# rpm -q httpdhttpd-2.2.15-29.el6.centos.x86_64
(2)启动服务,创建测试页面:
[root@serverB ~]# service httpd start[root@serverB ~]# echo "iptables nat test.
" > /var/www/html/index.html
(3)客户端测试:
(4)开启Server A的ip转发功能,编写iptables规则:
[root@serverA ~]# echo 1 > /proc/sys/net/ipv4/ip_forward
这一步一定要记得,之前被坑过好几次!!!
iptables -t nat -A PREROUTING -d 192.168.1.34 -p tcp -m tcp --dport 81 -j DNAT --to-destination 192.168.1.32:80iptables -t nat -A POSTROUTING -s 192.168.1.32 -j SNAT --to-source 192.168.1.34
这两条规则就是我想当然的在生产服务器上敲得,做完之后发现不成功,于是开始排查原因:
首先看第一条规则,这个规则是在服务器路由决策之前,将客户端发来的目的地址和端口改为192.168.1.32:80,从而达到访问服务器B的目的,这样看的话,这个规则是没有问题的,我来验证一下:
如果第一条语句生效,那么在Server B上将会收到来自Client端192.168.1.185的请求报文,我在Server B上用tcpdump抓包看一下:
[root@serverB ~]# tcpdump -vv -nn -X tcp port 80tcpdump: listening on eth0, link-type EN10MB (Ethernet), capture size 65535 bytes05:58:58.681487 IP (tos 0x0, ttl 127, id 3204, offset 0, flags [DF], proto TCP (6), length 52) 192.168.1.185.61777 > 192.168.1.32.80: Flags [S], cksum 0x15c0 (correct), seq 2693866233, win 8192, options [mss 1460,nop,wscale 2,nop,nop,sackOK], length 0 0x0000: 4500 0034 0c84 4000 7f06 6b16 c0a8 01b9 E..4..@...k..... 0x0010: c0a8 0120 f151 0050 a091 22f9 0000 0000 .....Q.P.."..... 0x0020: 8002 2000 15c0 0000 0204 05b4 0103 0302 ................ 0x0030: 0101 0402 ....05:58:58.838172 IP (tos 0x0, ttl 64, id 0, offset 0, flags [DF], proto TCP (6), length 52) 192.168.1.32.80 > 192.168.1.185.61777: Flags [S.], cksum 0xb6a9 (correct), seq 4286269053, ack 2693866234, win 14600, options [mss 1460,nop,nop,sackOK,nop,wscale 6], length 0 0x0000: 4500 0034 0000 4000 4006 b69a c0a8 0120 E..4..@.@....... 0x0010: c0a8 01b9 0050 f151 ff7b 467d a091 22fa .....P.Q.{F}..". 0x0020: 8012 3908 b6a9 0000 0204 05b4 0101 0402 ..9............. 0x0030: 0103 0306 ....
没错,确实抓到了,说明第一条语句生效了,而且仔细看,会发现Server B也的确给Client回包,但为什么Client端访问失败呢?
我在客户端上用wireshark抓包看下
发现客户端的回包中RST位置为1,表示异常中止,由于是TCP协议,所以Server B会有重传,结果也是一样,Client端全部拒收了。想了半天,原来Server B的回包地址和我请求的地址不一致,我请求的Server A的81端口,结果Server B的80端口给我回的包,作为Client当然不会接收了。
原因找到了,接下来让我们看一下第二条规则错在哪里
iptables -t nat -A POSTROUTING -s 192.168.1.32 -j SNAT --to-source 192.168.1.34
这条语句表示将源地址为192.168.1.32的数据包在路由决策后将要发送之前把它的源地址改为192.168.1.34,在本例中,由于是内网环境,Server B也没有将网关指向Server A(指了也没用,局域网通信靠的是MAC地址),因此,Server B在回包的时候并不会经过Server A,于是规则二并没有生效,接下来的解决思路就是要让,Server B的数据包一定要经过Server A,于是我们删除上述第二条规则,并添加一条新规则。
iptables -t nat -D POSTROUTING 1iptables -t nat -A POSTROUTING -d 192.168.1.32 -p tcp --dport 80 -j SNAT --to-source 192.168.1.34
我们把访问Server B 80端口的源地址改成192.168.1.34,这样Server B在回包时就一定会经过Server A,然后通过查询连接跟踪表,找到请求的真正ip和端口进行回应。
查看连接追踪表:
[root@serverA ~]# cat /proc/net/nf_conntrackipv4 2 tcp 6 116 TIME_WAIT src=192.168.1.185 dst=192.168.1.34 sport=63612 dport=81 src=192.168.1.32 dst=192.168.1.34 sport=80 dport=63612 [ASSURED] mark=0 secmark=0 use=2ipv4 2 tcp 6 431997 ESTABLISHED src=192.168.1.185 dst=192.168.1.34 sport=63613 dport=81 src=192.168.1.32 dst=192.168.1.34 sport=80 dport=63613 [ASSURED] mark=0 secmark=0 use=2
至此,Client的访问就应该可以了。
通过这次实验,对iptables中nat表的理解又加深了一步,最后放一张关于netfilter处理顺序的图帮助理解。