背景

在Linux虛擬化技術(shù)中，網(wǎng)絡(luò)層面，通常重要的三個(gè)技術(shù)分別是Network Namespace、veth pair、以及網(wǎng)橋或虛擬交換機(jī)技術(shù)。今天就通過實(shí)驗(yàn)帶大家一起學(xué)習(xí)下Linux網(wǎng)絡(luò)虛擬化技術(shù)。

我們首先了解下Network Namespace，它是由Linux內(nèi)核提供，是實(shí)現(xiàn)網(wǎng)絡(luò)虛擬化的重要功能。通過創(chuàng)建多個(gè)隔離的網(wǎng)絡(luò)空間，實(shí)現(xiàn)網(wǎng)絡(luò)資源的隔離。

不同的Network Namespace的資源互相不可見，彼此之間無法通信。如下圖所示：

ip netns命令

Network Namespace是Linux內(nèi)核提供的功能，本文借助ip命令來完成各種操作。ip命令來自于iproute2安裝包，一般系統(tǒng)默認(rèn)安裝，如果沒有的話，讀者可自行安裝。

ip命令管理的功能很多，和Network Namespace有關(guān)的操作都在其子命令ip netns下進(jìn)行的，可以通過ip netns help查詢命令幫助信息

[root@qll253?~]#?ip?netns?help
Usage:?ip?netns?list
???????ip?netns?add?NAME
???????ip?netns?set?NAME?NETNSID
???????ip?[-all]?netns?delete?[NAME]
???????ip?netns?identify?[PID]
???????ip?netns?pids?NAME
???????ip?[-all]?netns?exec?[NAME]?cmd?...
???????ip?netns?monitor
???????ip?netns?list-id

創(chuàng)建Network Namespace

1、通過 ip netns add 命令創(chuàng)建一個(gè)名為ns0的網(wǎng)絡(luò)命名空間：

[root@1ll253?~]#?ip?netns?add?ns0

2、查詢命名空間

[root@1ll253?~]#?ip?netns?list
ns0

3、命名空間所在目錄

[root@1ll253?~]#?ls?/var/run/netns/
ns0

注意：新創(chuàng)建的 Network Namespace 會(huì)出現(xiàn)在/var/run/netns/目錄下。如果需要管理其他不是 ip netns 創(chuàng)建的 network namespace，只要在這個(gè)目錄下創(chuàng)建一個(gè)指向?qū)?yīng) network namespace 文件的鏈接即可。

操作Network Namespace

對(duì)于每個(gè) Network Namespace 來說，它會(huì)有自己獨(dú)立的網(wǎng)卡、路由表、ARP 表、iptables 等和網(wǎng)絡(luò)相關(guān)的資源。ip命令提供了ip netns exec子命令可以在對(duì)應(yīng)的 Network Namespace 中執(zhí)行命令。

1、查看網(wǎng)絡(luò)命名空間 ns0 的網(wǎng)卡信息

[root@1ll253?~]#?ip?netns?exec?ns0?ip?addr
1:?lo:??mtu?65536?qdisc?noop?state?DOWN?group?default?qlen?1000
????link/loopback?00:00:00:00:00:00?brd?00:00:00:00:00:00

每個(gè) namespace 在創(chuàng)建時(shí)會(huì)自動(dòng)創(chuàng)建一個(gè)回環(huán)接口lo，默認(rèn)不啟用。它的作用和Linux系統(tǒng)中默認(rèn)看到的lo一樣，都是為了實(shí)現(xiàn)loopback通信，如果希望lo口能工作，可以通過下面的步驟2啟用它。

2、啟用lo回環(huán)網(wǎng)卡：

[root@1ll253?~]#?ip?netns?exec?ns0?ip?link?set?lo?up

再次檢查回環(huán)網(wǎng)卡狀態(tài)：

[root@1ll253?~]#?ip?netns?exec?ns0?ip?addr
1:?lo:??mtu?65536?qdisc?noqueue?state?UNKNOWN?group?default?qlen?1000
????link/loopback?00:00:00:00:00:00?brd?00:00:00:00:00:00
????inet?127.0.0.1/8?scope?host?lo
???????valid_lft?forever?preferred_lft?forever
????inet6?::1/128?scope?host?
???????valid_lft?forever?preferred_lft?forever

會(huì)發(fā)現(xiàn)此時(shí)回環(huán)口卡處于UP狀態(tài)，并且系統(tǒng)分配127.0.0.1/8的ip地址。

3、在 ns0 中打開一個(gè)shell終端

[root@1ll253?~]#?ip?netns?exec?ns0?/bin/bash
[root@1ll253?~]#?ip?addr
1:?lo:??mtu?65536?qdisc?noqueue?state?UNKNOWN?group?default?qlen?1000
????link/loopback?00:00:00:00:00:00?brd?00:00:00:00:00:00
????inet?127.0.0.1/8?scope?host?lo
???????valid_lft?forever?preferred_lft?forever
[root@1ll253?~]#?exit
exit

通過執(zhí)行ip netns exec ns0 /bin/bash進(jìn)入ns0的shell終端，后面所有的命令都在這個(gè)Network Namespace中執(zhí)行，好處是不用每次執(zhí)行命令時(shí)都要帶上ip netns exec ，缺點(diǎn)是我們無法清楚知道自己當(dāng)前所在的shell，容易混淆。

可以采用下面的方法解決：

[root@1ll253?~]#?ip?netns?exec?ns0?/bin/bash?--rcfile?<(echo?"PS1=\"ns0>?\"")
ns0>?

Network Namespace 之間的通信

默認(rèn)情況下，network namespace 是不能和主機(jī)網(wǎng)絡(luò)，或者其他 network namespace 通信的。

可以使用 Linux 提供的veth pair來完成通信，veth pair你可以理解為使用網(wǎng)線連接好的兩個(gè)接口，把兩個(gè)端口放到兩個(gè)namespace中，那么這兩個(gè)namespace就能打通。

接下來我們通過實(shí)驗(yàn)進(jìn)行驗(yàn)證：

1、創(chuàng)建veth pair

[root@1ll253?~]#?ip?link?add?type?veth
[root@1ll253?~]#?ip?link
14:?veth0@veth1:??mtu?1500?qdisc?noop?state?DOWN?mode?DEFAULT?group?default?qlen?1000
????link/ether?06:17:62:85:64:fc?brd?ff:ff:ff:ff:ff:ff
15:?veth1@veth0:??mtu?1500?qdisc?noop?state?DOWN?mode?DEFAULT?group?default?qlen?1000
????link/ether?fe:9a:48:e4:a3:99?brd?ff:ff:ff:ff:ff:ff
[root@1ll253?~]#?

可以看到，此時(shí)系統(tǒng)中新增了一對(duì)veth pair：veth0和veth1，需要記住的是veth pair無法單獨(dú)存在，刪除其中一個(gè)，另一個(gè)也會(huì)自動(dòng)消失。

如果需要指定veth pair兩個(gè)端點(diǎn)的名稱，可以使用下面的命令：

[root@1ll253?~]#?ip?link?add?veth001?type?veth?peer?name?veth002
[root@1ll253?~]#?ip?link
12:?veth002@veth001:??mtu?1500?qdisc?noop?state?DOWN?mode?DEFAULT?group?default?qlen?1000
????link/ether?aa:3e:04:da:a7:69?brd?ff:ff:ff:ff:ff:ff
13:?veth001@veth002:??mtu?1500?qdisc?noop?state?DOWN?mode?DEFAULT?group?default?qlen?1000
????link/ether?3e:5d:5f:4e:06:2b?brd?ff:ff:ff:ff:ff:ff

2、創(chuàng)建Network Namespace

我們已創(chuàng)建了一個(gè)名為ns0的Network Namespace，下面再創(chuàng)建一個(gè)名稱為ns1的網(wǎng)絡(luò)命名空間。

[root@1ll253?~]#?ip?netns?add?ns1
[root@1ll253?~]#?ip?netns?list
ns1
ns0

3、把veth pair分別加入到這兩個(gè)namespace中

將veth0加入到ns0，將veth1加入到ns1，如下所示：

[root@1ll253?~]#?ip?link?set?veth0?netns?ns0
[root@1ll253?~]#?ip?link?set?veth1?netns?ns1

4、分別為這對(duì)veth pair配置上ip地址，并啟用

1）為veth0配置IP，并啟用該虛擬網(wǎng)卡

[root@1ll253?~]#?ip?netns?exec?ns0?ip?addr?add?192.168.1.1/24?dev?veth0
[root@1ll253?~]#?ip?netns?exec?ns0?ip?link?set?veth0?up

2）為veth1配置IP，并啟用該虛擬網(wǎng)卡

[root@1ll253?~]#?ip?netns?exec?ns1?ip?addr?add?192.168.1.2/24?dev?veth1
[root@1ll253?~]#?ip?netns?exec?ns1?ip?link?set?veth1?up

5、查看這對(duì)veth pair的狀態(tài)

6、驗(yàn)證兩個(gè)Network Namespace之間的互通

可以看到，veth pair成功實(shí)現(xiàn)了兩個(gè)不同Network Namespace之間的網(wǎng)絡(luò)交互。

網(wǎng)橋

雖然veth pair可以實(shí)現(xiàn)兩個(gè) Network Namespace 之間的通信，但 veth pair 有一個(gè)明顯的缺陷，就是只能實(shí)現(xiàn)兩個(gè)網(wǎng)絡(luò)接口之間的通信。如果多個(gè)network namespace需要進(jìn)行通信，則需要借助bridge。

下面我們通過實(shí)驗(yàn)來進(jìn)行講解：

0、還原網(wǎng)絡(luò)環(huán)境

為方便接下來的實(shí)驗(yàn)，我們把剛剛創(chuàng)建的Network Namespace及veth pair刪除，保證純凈的網(wǎng)絡(luò)環(huán)境。

[root@1ll253?~]#?ip?netns?delete?ns0
[root@1ll253?~]#?ip?netns?delete?ns1

1、創(chuàng)建3個(gè)Network Namespace

[root@1ll253?~]#?ip?netns?add?ns0
[root@1ll253?~]#?ip?netns?add?ns1
[root@1ll253?~]#?ip?netns?add?ns2

2、創(chuàng)建3對(duì)veth pair

[root@1ll253?~]#?ip?link?add?type?veth
[root@1ll253?~]#?ip?link
16:?veth0@veth1:??mtu?1500?qdisc?noop?state?DOWN?mode?DEFAULT?group?default?qlen?1000
????link/ether?ba:fa:d6:14:e1:32?brd?ff:ff:ff:ff:ff:ff
17:?veth1@veth0:??mtu?1500?qdisc?noop?state?DOWN?mode?DEFAULT?group?default?qlen?1000
????link/ether?a2:ef:d9:a5:96:51?brd?ff:ff:ff:ff:ff:ff
18:?veth2@veth3:??mtu?1500?qdisc?noop?state?DOWN?mode?DEFAULT?group?default?qlen?1000
????link/ether?a2:5b:e7:9e:b1:55?brd?ff:ff:ff:ff:ff:ff
19:?veth3@veth2:??mtu?1500?qdisc?noop?state?DOWN?mode?DEFAULT?group?default?qlen?1000
????link/ether?92:91:67:ab:69:ac?brd?ff:ff:ff:ff:ff:ff
20:?veth4@veth5:??mtu?1500?qdisc?noop?state?DOWN?mode?DEFAULT?group?default?qlen?1000
????link/ether?8a:c8:35:f6:11:3f?brd?ff:ff:ff:ff:ff:ff
21:?veth5@veth4:??mtu?1500?qdisc?noop?state?DOWN?mode?DEFAULT?group?default?qlen?1000
????link/ether?2a:b7:82:d4:49:d5?brd?ff:ff:ff:ff:ff:ff

3、創(chuàng)建網(wǎng)橋

//?創(chuàng)建名為?docker0?的網(wǎng)橋
[root@1ll253?~]#?ip?link?add?docker0?type?bridge

//啟動(dòng)?docker0?網(wǎng)橋
[root@1ll253?~]#?ip?link?set?dev?docker0?up

//為docker0網(wǎng)橋配置IP
[root@1ll253?~]#?ifconfig?docker0?172.17.0.1/16

此時(shí)可以通過ifconfig命令查看：

4、綁定網(wǎng)口

Network Namespace、veth pair、bridge 都創(chuàng)建完畢，下面通過命令將每對(duì)veth pair的一端綁定在network namespace，另一端綁定在docker0網(wǎng)橋上，用于實(shí)現(xiàn)網(wǎng)絡(luò)互通

1）配置第一個(gè)網(wǎng)絡(luò)命名空間 ns0

//?將veth1添加進(jìn)ns0
[root@1ll253?~]#?ip?link?set?dev?veth1?netns?ns0

//將veth1重命名為eth0
[root@1ll253?~]#?ip?netns?exec?ns0?ip?link?set?dev?veth1?name?eth0

//為ns0中的eth0配置ip
[root@1ll253?~]#?ip?netns?exec?ns0?ip?addr?add?172.17.0.101/16?dev?eth0

//?啟動(dòng)ns0中的eth0網(wǎng)卡
[root@1ll253?~]#?ip?netns?exec?ns0?ip?link?set?dev?eth0?up

//?將veth0添加加網(wǎng)橋docker0
[root@1ll253?~]#?ip?link?set?dev?veth0?master?docker0

//?啟動(dòng)veth0網(wǎng)卡
[root@1ll253?~]#?ip?link?set?dev?veth0?up

2）配置第二個(gè)網(wǎng)絡(luò)命名空間 ns1

[root@1ll253?~]#?ip?link?set?dev?veth3?netns?ns1
[root@1ll253?~]#?ip?netns?exec?ns1?ip?link?set?dev?veth3?name?eth0
[root@1ll253?~]#?ip?netns?exec?ns1?ip?addr?add?172.17.0.102/16?dev?eth0
[root@1ll253?~]#?ip?netns?exec?ns1?ip?link?set?dev?eth0?up
[root@1ll253?~]#?ip?link?set?dev?veth1?master?docker0
[root@1ll253?~]#?ip?link?set?dev?veth3?up

2）配置第三個(gè)網(wǎng)絡(luò)命名空間 ns2

[root@1ll253?~]#?ip?link?set?dev?veth5?netns?ns2
[root@1ll253?~]#?ip?netns?exec?ns2?ip?link?set?dev?veth5?name?eth0
[root@1ll253?~]#?ip?netns?exec?ns2?ip?addr?add?172.17.0.103/16?dev?eth0
[root@1ll253?~]#?ip?netns?exec?ns1?ip?link?set?dev?eth0?up
[root@1ll253?~]#?ip?link?set?dev?veth5?master?docker0
[root@1ll253?~]#?ip?link?set?dev?veth5?up

5、查看綁定端口

和網(wǎng)橋有關(guān)的操作還可以使用brctl，這個(gè)命令來自 bridge-utils安裝包。這里使用brctl show來查詢網(wǎng)橋docker0下綁定的網(wǎng)卡。

6、驗(yàn)證多個(gè)namespace之間的通信

//?進(jìn)入ns0?bash終端
[root@1ll253?~]#?ip?netns?exec?ns0?/bin/bash?--rcfile?<(echo?"PS1=\"ns0>?\"")

//?ping?網(wǎng)橋docker0
ns0>?ping?-c?1?172.17.0.1
PING?172.17.0.1?(172.17.0.1)?56(84)?bytes?of?data.
64?bytes?from?172.17.0.1:?icmp_seq=1?ttl=64?time=0.033?ms
...

//?ping?ns1上的eth0網(wǎng)卡
ns0>?ping?-c?1?172.17.0.102
PING?172.17.0.102?(172.17.0.102)?56(84)?bytes?of?data.
64?bytes?from?172.17.0.102:?icmp_seq=1?ttl=64?time=0.049?ms
...

//?ping?ns2上的eth0網(wǎng)卡
ns0>?ping?-c?1?172.17.0.103
PING?172.17.0.103?(172.17.0.103)?56(84)?bytes?of?data.
64?bytes?from?172.17.0.103:?icmp_seq=1?ttl=64?time=0.038?ms
...