本文将会涵盖如下几个部分:
- Openstack网络组件的发展历程
- Neutron的结构
- Neutron Server的结构
- Neutron的配置
1 Openstack网络组件的发展历程
1.1 nova-networkOpenstack在2010年正式发布它的第一个版本Austin的时候,nova-network作为它的核心组件被包含其中。nova-network的功能主要有:
- IP地址分配
包含为虚拟主机分配私有(固定)和浮动IP地址。
- 网络模型与管理
提供了虚拟网络使虚拟主机之间以及与外部网络通信。网络模型分为以下三种。这三种模型可以共存在一个云系统中,但是在一个计算节点上只能配备一种模型。
- 扁平网络 (Flat Network):在创建虚拟主机时,nova-network会从指定子网中取一个空闲IP并将它写入此虚拟主机的配置文件。在一个子网内的虚拟主机可以通过创建Linux桥实现互通。
- 带DHCP功能的扁平网络 (Flat DHCP Network):顾名思义,此种模式相对于扁平网络加入了DHCP功能。在创建虚拟主机时,nova-network会在指定的子网中为此虚拟主机分配IP和物理地址,并将这些信息告知DHCP服务器(默认是dnsmasq)。DHCP服务器会监听虚拟主机所在的桥。当有虚拟主机启动时,会自动从DHCP服务器获得IP。可以看到DHCP服务器只是按照nova-network给定的列表(IP和物理地址)分发IP,如何分配还是nova-network说了算。
- VLAN网络 (VLAN Network):这是nova-network的默认模型。针对每个项目(Project,如今Openstack把项目改称租户 -- Tenant),都会对应一个vlan。每个项目里的私有IP地址只能在本项目的vlan里访问。与项目对应的vlan需要子网,这个子网是由管理员动态分配给项目的。与带DHCP功能的扁平网络类似,子网内的IP地址也是通过DHCP服务器分发的。所有在一个子网内的虚拟主机都通过网桥互通。
- 安全控制
主要通过ebtables和iptables来实现。
1.2 Quantum
Quantum是随Openstack的Folsom版本正式发布的,其实它已经作为试用组件包含在之前的Essex版本中。在Grizzly里功能得到了增强。
为什么引入Quantum?答案非常简单,Quantum功能更强大,满足更多需求。下面列几条主要功能。
- 提供面向租户的API,以便控制2层网络和管理IP地址
- 支持插件式网络组件,像Open vSwitch,Cisco,Linux Bridge,Nicira NVP等等
- 支持位于不同的2层网络的IP地址重叠
- 支持基本的3层转发和多路由器
- 支持隧道技术(Tunneling)
- 支持3层代理和DHCP代理的多节点部署,增强了扩展性和可靠性
- 提供负载均衡API (试用版本)
1.3 Neutron
因为商标侵权的原因,Openstack在Havana版本上将Quantum更名为Neutron,所以Neutron并不是什么新的东西。在Havana版里,Neutron也只增加和增强了少数功能。
- 提供稳定的负载均衡API
- 支持端到端的IPSec VPN
- 面向租户的防火墙服务
- 提供一个新的插件ML2,这个插件可以作为一个框架同时支持不同的2层网络
现在很多已部署的Openstack云还在继续使用nova-network,因为它简单,稳定,尤其是多节点部署的可扩展性和可靠性让人不愿割舍。但是我们必须考虑往Neutron上迁移了,最新版Icehouse(还未发布)中的nova-network将会被列为过期组件,虽然系统还支持,但不建议使用了。
接下来我们一起来看看Neutron,本人精力在咨询、架构和部署,所以对源码实现我们不会涉及。
2 Neutron的结构
Openstack的设计理念是把所有的组件当做服务来注册的。 Neutron就是网络服务。它将网络、子网、端口和路由器抽象化,之后启动的虚拟主机就可以连接到这个虚拟网络上,最大的好处是这些都可视化的在Horizon里得到了实现,部署或者改变一个SDN变得非常简单,没有专业知识的人稍经培训也可以做到。
我们先通过如下一个简单的流程来了解客户机如何连接到网络上。
- 租户创建了一个网络,比方说mynet
- 租户为此网络分配一个子网,比如192.168.122.0/24
- 租户启动一个客户机,并指明一个网口连接到mynet
- Nova通知Neutron并在mynet上创建一个端口,如port1
- Neutron选择并分配一个IP给port1
- 客户机通过port1就连接到了mynet上
Neutron主要有以下几部分组成。
- Neutron Server:
这一部分包含守护进程neutron-server和各种插件neutron-*-plugin,它们既可以安装在控制节点也可以安装在网络节点。neutron-server提供API接口,并把对API的调用请求传给已经配置好的插件进行后续处理。插件需要访问数据库来维护各种配置数据和对应关系,例如路由器、网络、子网、端口、浮动IP、安全组等等。
- 插件代理 (Plugin Agent):
虚拟网络上的数据包的处理则是由这些插件代理来完成的。名字为neutron-*-agent。在每个计算节点和网络节点上运行。一般来说你选择了什么插件,就需要选择相应的代理。代理与Neutron Server及其插件的交互就通过消息队列来支持。
- DHCP代理(DHCP Agent):
名字为neutron-dhcp-agent,为各个租户网络提供DHCP服务,部署在网络节点上,各个插件也是使用这一个代理。
- 3层代理 (L3 Agent):
名字为neutron-l3-agent, 为客户机访问外部网络提供3层转发服务。也部署在网络节点上。
下面这张图取自官网,很好的反映了Neutron内部各部分之间的关系。(SDN服务在这里是额外的外部功能,可以暂时略过。)
![](http://docs.openstack.org/security-guide/content/figures/8/static/sdn-connections.png)
3 Neutron Server的结构
下面我们来细看一下Neutron Server的结构。
![](http://cdn.ws.citrix.com/wp-content/uploads/2011/06/quantum-overview.png)
这张图中我们只看Quantum-common和Quantum Plugin部分,其实就是Neutron Server。
上面我们已提到,Neutron最重要的就是两部分:API和插件。
3.1 API
API又分为两个部分。
- API Core:暂且称之为API核。它可以看做是插件功能的最小集合,即每个插件都必须有的功能,也就是对网络、子网和端口的查询、加删和更新操作等。
- API Extensions:暂称之为API扩展。它们一般是针对具体插件实现的,这样租户就可以利用这些插件独特的功能,比方说访问控制(ACL)和QoS。
需要提一下的是,现在API核具备的功能还都很简单,随着Neturon的不断成熟,它可能就会纳入一些API扩展中的功能。
当然API部分也负责Neutron服务的启动、客户请求和相应回复的打包和派发以及验证数据格式及其正确性。也有一些安全和稳定机制,比方说对API请求的限制以防止DOS攻击来保证服务在大负载下的可用性。
至于验证和授权功能,相信大家都已了解,就是与Keystone结合,进行用户或租户级的使用控制。
3.2 插件
下面我们再来看一下插件。
从功能上说,插件一般有以下内容。
- 存储当前逻辑网络的配置信息,这就需要一个数据库,比方说MySQL
- 判断和存储逻辑网络和物理网络的对应关系,比方说为一个逻辑网络选择一个vlan
- 与一种或多种交换机通信来实现这种对应关系。这一般通过宿主机上的插件代理来实现这种操作,或者远程登录到交换机上来配置。
以Open vSwitch为例,下面列出了插件需要访问的数据表。
[plain]
view plaincopy![](https://code.csdn.net/assets/CODE_ico.png)
![](https://code.csdn.net/assets/ico_fork.svg)
- +---------------------------+
- | Tables_in_neutron |
- +---------------------------+
- | agents |
- | allowedaddresspairs |
- | dnsnameservers |
- | externalnetworks |
- | extradhcpopts |
- | floatingips |
- | ipallocationpools |
- | ipallocations |
- | ipavailabilityranges |
- | networkdhcpagentbindings |
- | networks |
- | ovs_network_bindings |
- | ovs_tunnel_allocations |
- | ovs_tunnel_endpoints |
- | ovs_vlan_allocations |
- | portbindingports |
- | ports |
- | quotas |
- | routerl3agentbindings |
- | routerroutes |
- | routers |
- | securitygroupportbindings |
- | securitygrouprules |
- | securitygroups |
- | subnetroutes |
- | subnets |
- +---------------------------+
4 Neutron的配置
Neutron的配置应该说是比Openstack的其他组件复杂一点。
常用的配置模型有两种,
- 把Neutron Server放在控制节点上,DHCP和L3代理放在网络节点上,可参考一下官图。
![](http://docs.openstack.org/admin-guide-cloud/content/figures/9/a/common/figures/Neutron-PhysNet-Diagram.png)
- 把Neutron的所有部分放在单独的网络节点上。这种方式就是把上图部署在控制节点中的neutron-server放到网络节点上。
因为网络配置不像网络使用那么频繁,所以通常建议使用第一种方案,没有必要单独把neutron-server拿出来。因为neutron-server是可单独部署的,我们就拿第二种方案作为例子。
系统使用ubuntu12.04,软件的安装我们就不说了,这里我们采用Open vSwitch插件。(针对虚拟交换机Open vSwitch,Neutron建议是使用ML2插件的,但这里我们为了加深对插件和插件代理的理解,还是沿用了OpenvSwitch插件)。
4.1 计算节点的配置安装完软件包以后,计算节点应该就有OpenvSwitch的代理在运行,使用ps命令可以看到如下进程。
[plain]
view plaincopy![](https://code.csdn.net/assets/CODE_ico.png)
![](https://code.csdn.net/assets/ico_fork.svg)
- /usr/bin/python /usr/bin/neutron-openvswitch-agent --config-file=/etc/neutron/neutron.conf --config-file=/etc/neutron/plugins/openvswitch/ovs_neutron_plugin.ini
这里我们可以看到代理读取了2个配置文件。
neutron.conf主要需要设置如下几项:
[plain]
view plaincopy![](https://code.csdn.net/assets/CODE_ico.png)
![](https://code.csdn.net/assets/ico_fork.svg)
- core_plugin = neutron.plugins.openvswitch.ovs_neutron_plugin.OVSNeutronPluginV2<span style="white-space:pre"> </span>//插件类型
- auth_strategy = keystone<span style="white-space:pre"> </span>// 授权方式
- rabbit_host = 192.168.122.1<span style="white-space:pre"> </span>//处理消息队列的主机地址
- [keystone_authtoken]<span style="white-space:pre"> </span>//keystone信息,这里只是我的例子信息
- auth_host = 192.168.122.1
- auth_port = 35357
- auth_protocol = http
- admin_tenant_name = service
- admin_user = neutron
- admin_password = neutron
- auth_url = http://192.168.122.1:35357/v2.0
- connection = mysql://neutron:neutron@192.168.122.100/neutron<span style="white-space:pre"> </span>//DB信息
neutron.conf会默认包含另一个配置文件api-paste.ini,对它只需添加keystone信息。
[plain]
view plaincopy![](https://code.csdn.net/assets/CODE_ico.png)
![](https://code.csdn.net/assets/ico_fork.svg)
- auth_host=192.168.122.1
- admin_user=neutron
- admin_tenant_name=service
- admin_password=neutron
ovs_neutron_plugin.init主要需要设置以下几项,以vlan为例:
[plain]
view plaincopy![](https://code.csdn.net/assets/CODE_ico.png)
![](https://code.csdn.net/assets/ico_fork.svg)
- tenant_network_type = vlan<span style="white-space:pre"> </span>//网络类型,例如vlan,gre
- network_vlan_ranges = physnet1:1000:2999<span style="white-space:pre"> </span>//vlanID
- bridge_mappings = physnet1:br-int<span style="white-space:pre"> </span>//用于计算节点上客户机内部网络的网桥
- firewall_driver = neutron.agent.linux.iptables_firewall.OVSHybridIptablesFirewallDriver
4.2 网络节点的配置
安装完软件后,网络节点应该会有如下进程在运行。
[plain]
view plaincopy![](https://code.csdn.net/assets/CODE_ico.png)
![](https://code.csdn.net/assets/ico_fork.svg)
- /usr/bin/python /usr/bin/neutron-dhcp-agent --config-file=/etc/neutron/neutron.conf --config-file=/etc/neutron/dhcp_agent.ini
- /usr/bin/python /usr/bin/neutron-metadata-agent --config-file=/etc/neutron/neutron.conf --config-file=/etc/neutron/metadata_agent.ini
- /usr/bin/python /usr/bin/neutron-l3-agent --config-file=/etc/neutron/neutron.conf --config-file=/etc/neutron/l3_agent.ini
- /usr/bin/python /usr/bin/neutron-server --config-file /etc/neutron/neutron.conf --config-file /etc/neutron/plugins/openvswitch/ovs_neutron_plugin.ini
- /usr/bin/python /usr/bin/neutron-openvswitch-agent --config-file=/etc/neutron/neutron.conf --config-file=/etc/neutron/plugins/openvswitch/ovs_neutron_plugin.ini
你会看到每个部分会用到哪个配置文件。
neutron.conf和api-paste.ini的配置与计算节点上是一样的。
dhcp_agent.ini的主要设置以下几项。看内容可理解其意义。
[plain]
view plaincopy![](https://code.csdn.net/assets/CODE_ico.png)
![](https://code.csdn.net/assets/ico_fork.svg)
- interface_driver = neutron.agent.linux.interface.OVSInterfaceDriver
- dhcp_driver = neutron.agent.linux.dhcp.Dnsmasq
metadata_agent.ini的设置主要是keystone相关的。
[plain]
view plaincopy![](https://code.csdn.net/assets/CODE_ico.png)
![](https://code.csdn.net/assets/ico_fork.svg)
- auth_url = http://192.168.122.1:5000/v2.0
- auth_region = regionOne
- admin_tenant_name = service
- admin_user = neutron
- admin_password = neutron
- nova_metadata_ip = 192.168.122.1
- metadata_proxy_shared_secret = meta<span style="white-space:pre"> </span>//proxy的密码,个人设置
l3_agent.init的设置。
[plain]
view plaincopy![](https://code.csdn.net/assets/CODE_ico.png)
![](https://code.csdn.net/assets/ico_fork.svg)
- interface_driver = neutron.agent.linux.interface.OVSInterfaceDriver
ovs_neutron_plugin.ini的配置和计算节点上的一样。
4.3 节点上OVS的配置
计算节点和网络节点的NIC配置非常相似,我们都是用第二个NIC(eth1)作为内部网络的通讯。以网络节点为例。eth1不能设置IP地址,而是把IP地址给虚拟桥。
[plain]
view plaincopy![](https://code.csdn.net/assets/CODE_ico.png)
![](https://code.csdn.net/assets/ico_fork.svg)
- auto eth1
- iface eth1 inet manual
- up ifconfig $IFACE 0.0.0.0 up
- down ip link set $IFACE down
- auto br-int
- iface br-int inet static
- address 10.100.1.2
- netmask 255.255.255.0
OVS中把eth1放到虚拟桥上。
[plain]
view plaincopy![](https://code.csdn.net/assets/CODE_ico.png)
![](https://code.csdn.net/assets/ico_fork.svg)
- Bridge br-int
- Port "eth1"
- Interface "eth1"
- Port br-int
- Interface br-int
- type: internal
5 结束语
Neutron是openstack的方向,我们有必要花点时间研究一下它。目前对它的担心还是有的,比方说稳定性、可用性,还有性能(以后有机会探讨),但它的灵活性、多功能性是无可比拟的。