Docker網(wǎng)絡(luò)基礎(chǔ) - Linux網(wǎng)橋工作原理與實(shí)現(xiàn)
Linux 的 網(wǎng)橋 是一種虛擬設(shè)備(使用軟件實(shí)現(xiàn)),可以將 Linux 內(nèi)部多個網(wǎng)絡(luò)接口連接起來,如下圖所示:

而將網(wǎng)絡(luò)接口連接起來的結(jié)果就是,一個網(wǎng)絡(luò)接口接收到網(wǎng)絡(luò)數(shù)據(jù)包后,會復(fù)制到其他網(wǎng)絡(luò)接口中,如下圖所示:

如上圖所示,當(dāng)網(wǎng)絡(luò)接口A接收到數(shù)據(jù)包后,網(wǎng)橋 會將數(shù)據(jù)包復(fù)制并且發(fā)送給連接到 網(wǎng)橋 的其他網(wǎng)絡(luò)接口(如上圖中的網(wǎng)卡B和網(wǎng)卡C)。
Docker 就是使用 網(wǎng)橋 來進(jìn)行容器間通訊的,我們來看看 Docker 是怎么利用 網(wǎng)橋 來進(jìn)行容器間通訊的,原理如下圖:

Docker 在啟動時,會創(chuàng)建一個名為 docker0 的 網(wǎng)橋,并且把其 IP 地址設(shè)置為 172.17.0.1/16(私有 IP 地址)。然后使用虛擬設(shè)備對 veth-pair 來將容器與 網(wǎng)橋 連接起來,如上圖所示。而對于 172.17.0.0/16 網(wǎng)段的數(shù)據(jù)包,Docker 會定義一條 iptables NAT 的規(guī)則來將這些數(shù)據(jù)包的 IP 地址轉(zhuǎn)換成公網(wǎng) IP 地址,然后通過真實(shí)網(wǎng)絡(luò)接口(如上圖的 ens160 接口)發(fā)送出去。
接下來,我們主要通過代碼來分析 網(wǎng)橋 的實(shí)現(xiàn)。
網(wǎng)橋的實(shí)現(xiàn)
1. 網(wǎng)橋的創(chuàng)建
我們可以通過下面命令來添加一個名為 br0 的 網(wǎng)橋 設(shè)備對象:
[]然后,我們可以通過命令 brctl show 來查看系統(tǒng)中所有的 網(wǎng)橋 設(shè)備列表,如下:
[root@vagrant]# brctl showbridge name bridge id STP enabled interfacesbr0 8000.000000000000 nodocker0 8000.000000000000 no
當(dāng)使用命令創(chuàng)建一個新的 網(wǎng)橋 設(shè)備時,會觸發(fā)內(nèi)核調(diào)用 br_add_bridge() 函數(shù),其實(shí)現(xiàn)如下:
int br_add_bridge(char *name){struct net_bridge *br;if ((br = new_nb(name)) == NULL) // 創(chuàng)建一個網(wǎng)橋設(shè)備對象return -ENOMEM;if (__dev_get_by_name(name) != NULL) { // 設(shè)備名是否已經(jīng)注冊過?kfree(br);return -EEXIST; // 返回錯誤, 不能重復(fù)注冊相同名字的設(shè)備}// 添加到網(wǎng)橋列表中br->next = bridge_list;bridge_list = br;...register_netdev(&br->dev); // 把網(wǎng)橋注冊到網(wǎng)絡(luò)設(shè)備中return 0;}
br_add_bridge() 函數(shù)主要完成以下幾個工作:
調(diào)用
new_nb()函數(shù)創(chuàng)建一個網(wǎng)橋設(shè)備對象。調(diào)用
__dev_get_by_name()函數(shù)檢查設(shè)備名是否已經(jīng)被注冊過,如果注冊過返回錯誤信息。將
網(wǎng)橋設(shè)備對象添加到bridge_list鏈表中,內(nèi)核使用bridge_list鏈表來保存所有網(wǎng)橋設(shè)備。調(diào)用
register_netdev()將網(wǎng)橋設(shè)備注冊到網(wǎng)絡(luò)設(shè)備中。
從上面的代碼可知,網(wǎng)橋 設(shè)備使用了 net_bridge 結(jié)構(gòu)來描述,其定義如下:
struct net_bridge{struct net_bridge *next; // 連接內(nèi)核中所有的網(wǎng)橋?qū)ο?/span>rwlock_t lock; // 鎖struct net_bridge_port *port_list; // 網(wǎng)橋端口列表struct net_device dev; // 網(wǎng)橋設(shè)備信息struct net_device_stats statistics; // 信息統(tǒng)計rwlock_t hash_lock; // 用于鎖定CAM表struct net_bridge_fdb_entry *hash[BR_HASH_SIZE]; // CAM表struct timer_list tick;/* STP */...};
在 net_bridge 結(jié)構(gòu)中,比較重要的字段為 port_list 和 hash:
port_list:網(wǎng)橋端口列表,保存著綁定到網(wǎng)橋的網(wǎng)絡(luò)接口列表。hash:保存著以網(wǎng)絡(luò)接口MAC地址為鍵值,以網(wǎng)橋端口為值的哈希表。
網(wǎng)橋端口 使用結(jié)構(gòu)體 net_bridge_port 來描述,其定義如下:
struct net_bridge_port{struct net_bridge_port *next; // 指向下一個端口struct net_bridge *br; // 所屬網(wǎng)橋設(shè)備對象struct net_device *dev; // 網(wǎng)絡(luò)接口設(shè)備對象int port_no; // 端口號/* STP */...};
而 net_bridge_fdb_entry 結(jié)構(gòu)用于描述網(wǎng)絡(luò)接口設(shè)備 MAC地址 與 網(wǎng)橋端口 的對應(yīng)關(guān)系,其定義如下:
struct net_bridge_fdb_entry{struct net_bridge_fdb_entry *next_hash;struct net_bridge_fdb_entry **pprev_hash;atomic_t use_count;mac_addr addr; // 網(wǎng)絡(luò)接口設(shè)備MAC地址struct net_bridge_port *dst; // 網(wǎng)橋端口...};
這三個結(jié)構(gòu)的對應(yīng)關(guān)系如下圖所示:

可見,要將 網(wǎng)絡(luò)接口設(shè)備 綁定到一個 網(wǎng)橋 上,需要使用 net_bridge_port 結(jié)構(gòu)來關(guān)聯(lián)的,下面我們來分析怎么將一個 網(wǎng)絡(luò)接口設(shè)備 綁定到一個 網(wǎng)橋 中。
網(wǎng)橋是工作在 TCP/IP 協(xié)議棧的第二層,也就是說,網(wǎng)橋能夠根據(jù)目標(biāo) MAC 地址對數(shù)據(jù)包進(jìn)行廣播或者單播。當(dāng)目標(biāo) MAC 地址能夠從網(wǎng)橋的 hash 表中找到對應(yīng)的網(wǎng)橋端口,說明此數(shù)據(jù)包是單播的數(shù)據(jù)包,否則就是廣播的數(shù)據(jù)包。
2. 將網(wǎng)絡(luò)接口綁定到網(wǎng)橋
要將一個 網(wǎng)絡(luò)接口設(shè)備 綁定到一個 網(wǎng)橋 上,可以使用以下命令:
[]上面的命令讓網(wǎng)絡(luò)接口 eth0 綁定到網(wǎng)橋 br0 上。
當(dāng)調(diào)用命令將網(wǎng)絡(luò)接口設(shè)備綁定到網(wǎng)橋上時,內(nèi)核會觸發(fā)調(diào)用 br_add_if() 函數(shù)來實(shí)現(xiàn),其代碼如下:
int br_add_if(struct net_bridge *br, struct net_device *dev){struct net_bridge_port *p;...write_lock_bh(&br->lock);// 創(chuàng)建一個新的網(wǎng)橋端口對象, 并添加到網(wǎng)橋的port_list鏈表中if ((p = new_nbp(br, dev)) == NULL) {write_unlock_bh(&br->lock);dev_put(dev);return -EXFULL;}// 設(shè)置網(wǎng)絡(luò)接口設(shè)備為混雜模式dev_set_promiscuity(dev, 1);...// 添加到網(wǎng)絡(luò)接口MAC地址與網(wǎng)橋端口對應(yīng)的哈希表中br_fdb_insert(br, p, dev->dev_addr, 1);...write_unlock_bh(&br->lock);return 0;}
br_add_if() 函數(shù)主要完成以下工作:
調(diào)用
new_nbp()函數(shù)創(chuàng)建一個新的網(wǎng)橋端口并且添加到網(wǎng)橋的port_list鏈表中。將網(wǎng)絡(luò)接口設(shè)備設(shè)置為
混雜模式。調(diào)用
br_fdb_insert()函數(shù)將新建的網(wǎng)橋端口插入到網(wǎng)絡(luò)接口MAC地址對應(yīng)的哈希表中。
也就是說,br_add_if() 函數(shù)主要建立 網(wǎng)絡(luò)接口設(shè)備 與 網(wǎng)橋 的關(guān)系。
3. 網(wǎng)橋中的網(wǎng)絡(luò)接口接收數(shù)據(jù)
當(dāng)某個 網(wǎng)絡(luò)接口 接收到數(shù)據(jù)包時,會判斷這個 網(wǎng)絡(luò)接口 是否綁定到某個 網(wǎng)橋 上,如果綁定了,那么就調(diào)用 handle_bridge() 函數(shù)處理這個數(shù)據(jù)包。handle_bridge() 函數(shù)實(shí)現(xiàn)如下:
static int __inline__handle_bridge(struct sk_buff *skb, struct packet_type *pt_prev){int ret = NET_RX_DROP;...br_handle_frame_hook(skb);return ret;}
br_handle_frame_hook 是一個函數(shù)指針,其指向 br_handle_frame() 函數(shù),我們來分析 br_handle_frame() 函數(shù)的實(shí)現(xiàn):
void br_handle_frame(struct sk_buff *skb){struct net_bridge *br;br = skb->dev->br_port->br; // 獲取設(shè)備連接的網(wǎng)橋?qū)ο?/span>read_lock(&br->lock); // 對網(wǎng)橋上鎖__br_handle_frame(skb); // 調(diào)用__br_handle_frame()函數(shù)處理數(shù)據(jù)包read_unlock(&br->lock);}
br_handle_frame() 函數(shù)的實(shí)現(xiàn)比較簡單,首先對 網(wǎng)橋 進(jìn)行上鎖操作,然后調(diào)用 __br_handle_frame() 處理數(shù)據(jù)包,我們來分析 __br_handle_frame() 函數(shù)的實(shí)現(xiàn):
static void __br_handle_frame(struct sk_buff *skb){struct net_bridge *br;unsigned char *dest;struct net_bridge_fdb_entry *dst;struct net_bridge_port *p;int passedup;dest = skb->mac.ethernet->h_dest; // 目標(biāo)MAC地址p = skb->dev->br_port; // 網(wǎng)絡(luò)接口綁定的端口br = p->br;passedup = 0;...// 將學(xué)習(xí)到的MAC地址插入到網(wǎng)橋的hash表中if (p->state == BR_STATE_LEARNING || p->state == BR_STATE_FORWARDING)br_fdb_insert(br, p, skb->mac.ethernet->h_source, 0);...if (dest[0] & 1) { // 如果是一個廣播包br_flood(br, skb, 1); // 把數(shù)據(jù)包發(fā)送給連接到網(wǎng)橋上的所有網(wǎng)絡(luò)接口if (!passedup)br_pass_frame_up(br, skb);elsekfree_skb(skb);return;}dst = br_fdb_get(br, dest); // 獲取目標(biāo)MAC地址對應(yīng)的網(wǎng)橋端口...if (dst != NULL) { // 如果目標(biāo)MAC地址對應(yīng)的網(wǎng)橋端口存在br_forward(dst->dst, skb); // 那么只將數(shù)據(jù)包轉(zhuǎn)發(fā)給此端口br_fdb_put(dst);return;}br_flood(br, skb, 0); // 否則發(fā)送給連接到此網(wǎng)橋上的所有網(wǎng)絡(luò)接口return;...}
__br_handle_frame() 函數(shù)主要完成以下幾個工作:
首先將從數(shù)據(jù)包中學(xué)習(xí)到的MAC地址插入到網(wǎng)橋的hash表中。
如果數(shù)據(jù)包是一個廣播包(目標(biāo)MAC地址的第一位為1),那么調(diào)用
br_flood()函數(shù)把數(shù)據(jù)包發(fā)送給連接到網(wǎng)橋上的所有網(wǎng)絡(luò)接口。調(diào)用
br_fdb_get()獲取目標(biāo)MAC地址對應(yīng)的網(wǎng)橋端口,如果目標(biāo)MAC地址對應(yīng)的網(wǎng)橋端口存在,那么調(diào)用br_forward()函數(shù)把數(shù)據(jù)包轉(zhuǎn)發(fā)給此端口。否則調(diào)用 調(diào)用
br_flood()函數(shù)把數(shù)據(jù)包發(fā)送給連接到網(wǎng)橋上的所有網(wǎng)絡(luò)接口。
函數(shù) br_forward() 用于把數(shù)據(jù)包發(fā)送給指定的網(wǎng)橋端口,其實(shí)現(xiàn)如下:
static void __br_forward(struct net_bridge_port *to, struct sk_buff *skb){skb->dev = to->dev;dev_queue_xmit(skb);}void br_forward(struct net_bridge_port *to, struct sk_buff *skb){if (should_forward(to, skb)) { // 端口是否能夠接收數(shù)據(jù)?__br_forward(to, skb);return;}kfree_skb(skb);}
br_forward() 函數(shù)通過調(diào)用 __br_forward() 函數(shù)來發(fā)送數(shù)據(jù)給指定的網(wǎng)橋端口,__br_forward() 函數(shù)首先將數(shù)據(jù)包的輸出接口設(shè)備設(shè)置為網(wǎng)橋端口綁定的設(shè)備,然后調(diào)用 dev_queue_xmit() 函數(shù)將數(shù)據(jù)包發(fā)送出去。
而 br_flood() 函數(shù)用于將數(shù)據(jù)包發(fā)送給綁定到 網(wǎng)橋 上的所有網(wǎng)絡(luò)接口設(shè)備,其實(shí)現(xiàn)如下:
void br_flood(struct net_bridge *br, struct sk_buff *skb, int clone){struct net_bridge_port *p;struct net_bridge_port *prev;...prev = NULL;p = br->port_list;while (p != NULL) { // 遍歷綁定到網(wǎng)橋的所有網(wǎng)絡(luò)接口設(shè)備if (should_forward(p, skb)) { // 端口是否能夠接收數(shù)據(jù)包?if (prev != NULL) {struct sk_buff *skb2;// 克隆一個數(shù)據(jù)包if ((skb2 = skb_clone(skb, GFP_ATOMIC)) == NULL) {br->statistics.tx_dropped++;kfree_skb(skb);return;}__br_forward(prev, skb2); // 把數(shù)據(jù)包發(fā)送給設(shè)備}prev = p;}p = p->next;}if (prev != NULL) {__br_forward(prev, skb);return;}kfree_skb(skb);}
br_flood() 函數(shù)的實(shí)現(xiàn)也比較簡單,主要是遍歷綁定到網(wǎng)橋的所有網(wǎng)絡(luò)接口設(shè)備,然后調(diào)用 __br_forward() 函數(shù)將數(shù)據(jù)包轉(zhuǎn)發(fā)給設(shè)備對應(yīng)的端口。
