基于Openstack kilo版本
Neutron本身的设计可以支持多个external network， 今天试了一下这个功能，由于环境的局限，外网和管理网是同一个，
外网上建立了一个网桥br-eth2， 同时建立了另外一个网桥br-ex，这两个网桥提供外网的服务。
实验一， 测试两个external network是否能绑定到同一个物理网桥上， 失败
配置：
Ml2的配置/etc/neutron/plugins/ml2/ml2_conf.ini
[ml2_type_flat]
flat_networks = default,physnet1,ext1,ext2
OVS的配置文件/etc/neutron/plugins/openvswitch/ovs_neutron_plugin.ini
[OVS]
bridge_mappings =default:br-eth1,ext1:br-ex,ext2:br-ex
l3_agent的配置文件 /etc/neutron/l3_agent.ini
[DEFAULT]
gateway_external_network_id =
external_network_bridge =
该实验已失败告终，因为br-int上的流表会产生错乱，因为ext1 和ext2网络的in-port是同一个。
实验二，测试两个external network绑定到两个物理网桥上， 成功
Ml2的配置/etc/neutron/plugins/ml2/ml2_conf.ini
[ml2_type_flat]
flat_networks = default,physnet1,ext1,ext2
OVS的配置文件/etc/neutron/plugins/openvswitch/ovs_neutron_plugin.ini
[OVS]
bridge_mappings =default:br-eth1,ext1:br-eth2,ext2:br-ex
l3_agent的配置文件 /etc/neutron/l3_agent.ini
[DEFAULT]
gateway_external_network_id =
external_network_bridge =
步骤：
1. 创建两个external network
$ neutron net-create --shared --router:external --provider:network_type flat --provider:physical_network ext1 external1
$ neutron subnet-create --name external1-sub --gateway 10.160.57.254 --allocation-pool start=10.160.57.194,end=10.160.57.200 --disable-dhcp external1 10.160.57.0/24
$ neutron net-create --shared --router:external --provider:network_type flat --provider:physical_network ext2 external2
$ neutron subnet-create --name external2-sub --gateway 10.160.57.254 --allocation-pool start=10.160.57.201,end=10.160.57.209 --disable-dhcp external2 10.160.57.0/24
2. 创建两个router，分别把网关绑定到两个external network
$ neutron router-create test-router1
$ neutron router-create test-router2
$ neutron router-gateway-set test-router1 external1
$ neutron router-gateway-set test-router2 external2
3. 创建内部网络，并创建两个subnet分别绑定到两个路由上
$ neutron net-create --name lan-test
$ neutron subnet-create lan-test 172.16.1.0/24
$ neutron subnet-create lan-test 172.16.2.0/24
$ neutron router-interface-add test-router1 6507b2f6-4409-42fd-862e-c41db4653147
$ neutron router-interface-add test-router2 a2ac2ca9-e7d1-4e86-9320-1987b72880a1
NOTE：做这个测试的目的是我们希望一个虚拟机可以通过两个floatingip提供服务
4. 部署虚拟机指定网络的其中一个subnet
$ nova boot --image centos7-x64 --nic net-id=5abf3f34-428b-4f3a-82e8-82d8a092d5b4 --flavor 1 instance01
5. 创建另外一个subnet的port，并绑定到这个虚拟机上
$ neutron port-create lan-test --fixed-ip subnet_id=6507b2f6-4409-42fd-862e-c41db4653147
$ nova interface-attach instance01 --port-id aa4e02ee-e514-426d-85c3-43b72ecab3a5
这时候会虚拟机上会有两个网卡，不过只有一个默认路由
6. 创建两个floatingip，分别绑定到虚拟机的两个网卡上
$ neutron floatingip-create external1
$ neutron floatingip-create external2
$ neutron floatingip-associate 5b9a1c92-13e2-4ec5-84b6-00c72e4d9bbb aa4e02ee-e514-426d-85c3-43b72ecab3a5
$ neutron floatingip-associate ceb75c33-fcee-4552-9942-d3f75858facd 49d50bc5-0684-42fa-bd16-8cb27fd1db17
两个floatingip的地址分别为10.160.57.195和10.160.57.202
这个时候只用通过其中的floatingip访问，因为虚拟机内部只有一个默认路由。
7. 在其中的一个router中创建SNAT规则，使得从该router进来的ip都转化成该subnet的网关
$ ip netns exec qrouter-ce1b4d87-d138-45ce-a0a7-892e8c01a928 iptables -t nat -A neutron-vpn-agen-POSTROUTING -o qr-f67f701e-0b -j SNAT --to-source 172.16.1.1
这时候两个ip应该都能访问了
[root@controller1 ~]# ping -c 4 10.160.57.195 PING 10.160.57.195 (10.160.57.195) 56(84) bytes of data. 64 bytes from 10.160.57.195: icmp_seq=1 ttl=63 time=1.19 ms 64 bytes from 10.160.57.195: icmp_seq=2 ttl=63 time=0.718 ms 64 bytes from 10.160.57.195: icmp_seq=3 ttl=63 time=0.766 ms 64 bytes from 10.160.57.195: icmp_seq=4 ttl=63 time=0.918 ms [root@controller1 ~]# ping -c 4 10.160.57.202 PING 10.160.57.202 (10.160.57.202) 56(84) bytes of data. 64 bytes from 10.160.57.202: icmp_seq=1 ttl=63 time=1.79 ms 64 bytes from 10.160.57.202: icmp_seq=2 ttl=63 time=0.857 ms 64 bytes from 10.160.57.202: icmp_seq=3 ttl=63 time=0.760 ms 64 bytes from 10.160.57.202: icmp_seq=4 ttl=63 time=2.86 ms
问题： 虚拟机里面获取不到真正的源ip地址！！！
