阿里二面：什么是mmap？
平時在面試中你肯定會經(jīng)常碰見的問題就是：RocketMQ為什么快？Kafka為什么快？什么是mmap？
這一類的問題都逃不過的一個點就是零拷貝，雖然還有一些其他的原因，但是今天我們的話題主要就是零拷貝。
傳統(tǒng)IO
在開始談零拷貝之前，首先要對傳統(tǒng)的IO方式有一個概念。
基于傳統(tǒng)的IO方式，底層實際上通過調(diào)用read()和write()來實現(xiàn)。
通過read()把數(shù)據(jù)從硬盤讀取到內(nèi)核緩沖區(qū)，再復(fù)制到用戶緩沖區(qū)；然后再通過write()寫入到socket緩沖區(qū)，最后寫入網(wǎng)卡設(shè)備。
整個過程發(fā)生了4次用戶態(tài)和內(nèi)核態(tài)的上下文切換和4次拷貝，具體流程如下：
用戶進程通過 read()方法向操作系統(tǒng)發(fā)起調(diào)用，此時上下文從用戶態(tài)轉(zhuǎn)向內(nèi)核態(tài)DMA控制器把數(shù)據(jù)從硬盤中拷貝到讀緩沖區(qū) CPU把讀緩沖區(qū)數(shù)據(jù)拷貝到應(yīng)用緩沖區(qū)，上下文從內(nèi)核態(tài)轉(zhuǎn)為用戶態(tài)， read()返回用戶進程通過 write()方法發(fā)起調(diào)用，上下文從用戶態(tài)轉(zhuǎn)為內(nèi)核態(tài)CPU將應(yīng)用緩沖區(qū)中數(shù)據(jù)拷貝到socket緩沖區(qū) DMA控制器把數(shù)據(jù)從socket緩沖區(qū)拷貝到網(wǎng)卡，上下文從內(nèi)核態(tài)切換回用戶態(tài)， write()返回
那么，這里指的用戶態(tài)、內(nèi)核態(tài)指的是什么？上下文切換又是什么？
簡單來說，用戶空間指的就是用戶進程的運行空間，內(nèi)核空間就是內(nèi)核的運行空間。
如果進程運行在內(nèi)核空間就是內(nèi)核態(tài)，運行在用戶空間就是用戶態(tài)。
為了安全起見，他們之間是互相隔離的，而在用戶態(tài)和內(nèi)核態(tài)之間的上下文切換也是比較耗時的。
從上面我們可以看到，一次簡單的IO過程產(chǎn)生了4次上下文切換，這個無疑在高并發(fā)場景下會對性能產(chǎn)生較大的影響。
那么什么又是DMA拷貝呢？
因為對于一個IO操作而言，都是通過CPU發(fā)出對應(yīng)的指令來完成，但是相比CPU來說，IO的速度太慢了，CPU有大量的時間處于等待IO的狀態(tài)。
因此就產(chǎn)生了DMA（Direct Memory Access）直接內(nèi)存訪問技術(shù)，本質(zhì)上來說他就是一塊主板上獨立的芯片，通過它來進行內(nèi)存和IO設(shè)備的數(shù)據(jù)傳輸，從而減少CPU的等待時間。
但是無論誰來拷貝，頻繁的拷貝耗時也是對性能的影響。
零拷貝
零拷貝技術(shù)是指計算機執(zhí)行操作時，CPU不需要先將數(shù)據(jù)從某處內(nèi)存復(fù)制到另一個特定區(qū)域，這種技術(shù)通常用于通過網(wǎng)絡(luò)傳輸文件時節(jié)省CPU周期和內(nèi)存帶寬。
那么對于零拷貝而言，并非真的是完全沒有數(shù)據(jù)拷貝的過程，只不過是減少用戶態(tài)和內(nèi)核態(tài)的切換次數(shù)以及CPU拷貝的次數(shù)。
這里，僅僅有針對性的來談?wù)剮追N常見的零拷貝技術(shù)。
mmap+write
mmap+write簡單來說就是使用mmap替換了read+write中的read操作，減少了一次CPU的拷貝。
mmap主要實現(xiàn)方式是將讀緩沖區(qū)的地址和用戶緩沖區(qū)的地址進行映射，內(nèi)核緩沖區(qū)和應(yīng)用緩沖區(qū)共享，從而減少了從讀緩沖區(qū)到用戶緩沖區(qū)的一次CPU拷貝。
整個過程發(fā)生了4次用戶態(tài)和內(nèi)核態(tài)的上下文切換和3次拷貝，具體流程如下：
用戶進程通過 mmap()方法向操作系統(tǒng)發(fā)起調(diào)用，上下文從用戶態(tài)轉(zhuǎn)向內(nèi)核態(tài)DMA控制器把數(shù)據(jù)從硬盤中拷貝到讀緩沖區(qū) 上下文從內(nèi)核態(tài)轉(zhuǎn)為用戶態(tài)，mmap調(diào)用返回 用戶進程通過 write()方法發(fā)起調(diào)用，上下文從用戶態(tài)轉(zhuǎn)為內(nèi)核態(tài)CPU將讀緩沖區(qū)中數(shù)據(jù)拷貝到socket緩沖區(qū) DMA控制器把數(shù)據(jù)從socket緩沖區(qū)拷貝到網(wǎng)卡，上下文從內(nèi)核態(tài)切換回用戶態(tài)， write()返回
mmap的方式節(jié)省了一次CPU拷貝，同時由于用戶進程中的內(nèi)存是虛擬的，只是映射到內(nèi)核的讀緩沖區(qū)，所以可以節(jié)省一半的內(nèi)存空間，比較適合大文件的傳輸。
sendfile
相比mmap來說，sendfile同樣減少了一次CPU拷貝，而且還減少了2次上下文切換。
sendfile是Linux2.1內(nèi)核版本后引入的一個系統(tǒng)調(diào)用函數(shù)，通過使用sendfile數(shù)據(jù)可以直接在內(nèi)核空間進行傳輸，因此避免了用戶空間和內(nèi)核空間的拷貝，同時由于使用sendfile替代了read+write從而節(jié)省了一次系統(tǒng)調(diào)用，也就是2次上下文切換。
整個過程發(fā)生了2次用戶態(tài)和內(nèi)核態(tài)的上下文切換和3次拷貝，具體流程如下：
用戶進程通過 sendfile()方法向操作系統(tǒng)發(fā)起調(diào)用，上下文從用戶態(tài)轉(zhuǎn)向內(nèi)核態(tài)DMA控制器把數(shù)據(jù)從硬盤中拷貝到讀緩沖區(qū) CPU將讀緩沖區(qū)中數(shù)據(jù)拷貝到socket緩沖區(qū) DMA控制器把數(shù)據(jù)從socket緩沖區(qū)拷貝到網(wǎng)卡，上下文從內(nèi)核態(tài)切換回用戶態(tài)， sendfile調(diào)用返回
sendfile方法IO數(shù)據(jù)對用戶空間完全不可見，所以只能適用于完全不需要用戶空間處理的情況，比如靜態(tài)文件服務(wù)器。
sendfile+DMA Scatter/Gather
Linux2.4內(nèi)核版本之后對sendfile做了進一步優(yōu)化，通過引入新的硬件支持，這個方式叫做DMA Scatter/Gather 分散/收集功能。
它將讀緩沖區(qū)中的數(shù)據(jù)描述信息--內(nèi)存地址和偏移量記錄到socket緩沖區(qū)，由 DMA 根據(jù)這些將數(shù)據(jù)從讀緩沖區(qū)拷貝到網(wǎng)卡，相比之前版本減少了一次CPU拷貝的過程
整個過程發(fā)生了2次用戶態(tài)和內(nèi)核態(tài)的上下文切換和2次拷貝，其中更重要的是完全沒有CPU拷貝，具體流程如下：
用戶進程通過 sendfile()方法向操作系統(tǒng)發(fā)起調(diào)用，上下文從用戶態(tài)轉(zhuǎn)向內(nèi)核態(tài)DMA控制器利用scatter把數(shù)據(jù)從硬盤中拷貝到讀緩沖區(qū)離散存儲 CPU把讀緩沖區(qū)中的文件描述符和數(shù)據(jù)長度發(fā)送到socket緩沖區(qū) DMA控制器根據(jù)文件描述符和數(shù)據(jù)長度，使用scatter/gather把數(shù)據(jù)從內(nèi)核緩沖區(qū)拷貝到網(wǎng)卡 sendfile()調(diào)用返回，上下文從內(nèi)核態(tài)切換回用戶態(tài)
DMA gather和sendfile一樣數(shù)據(jù)對用戶空間不可見，而且需要硬件支持，同時輸入文件描述符只能是文件，但是過程中完全沒有CPU拷貝過程，極大提升了性能。
應(yīng)用場景
對于文章開頭說的兩個場景：RocketMQ和Kafka都使用到了零拷貝的技術(shù)。
對于MQ而言，無非就是生產(chǎn)者發(fā)送數(shù)據(jù)到MQ然后持久化到磁盤，之后消費者從MQ讀取數(shù)據(jù)。
對于RocketMQ來說這兩個步驟使用的是mmap+write，而Kafka則是使用mmap+write持久化數(shù)據(jù)，發(fā)送數(shù)據(jù)使用sendfile。
總結(jié)
由于CPU和IO速度的差異問題，產(chǎn)生了DMA技術(shù)，通過DMA搬運來減少CPU的等待時間。
傳統(tǒng)的IOread+write方式會產(chǎn)生2次DMA拷貝+2次CPU拷貝，同時有4次上下文切換。
而通過mmap+write方式則產(chǎn)生2次DMA拷貝+1次CPU拷貝，4次上下文切換，通過內(nèi)存映射減少了一次CPU拷貝，可以減少內(nèi)存使用，適合大文件的傳輸。
sendfile方式是新增的一個系統(tǒng)調(diào)用函數(shù)，產(chǎn)生2次DMA拷貝+1次CPU拷貝，但是只有2次上下文切換。因為只有一次調(diào)用，減少了上下文的切換，但是用戶空間對IO數(shù)據(jù)不可見，適用于靜態(tài)文件服務(wù)器。
sendfile+DMA gather方式產(chǎn)生2次DMA拷貝，沒有CPU拷貝，而且也只有2次上下文切換。雖然極大地提升了性能，但是需要依賴新的硬件設(shè)備支持。
參考：
https://juejin.cn/post/6844903949359644680#heading-19
https://www.cnblogs.com/xiaolincoding/p/13719610.html
https://time.geekbang.org/column/article/118657
https://www.toutiao.com/i6898240850917114380/
樂于輸出干貨的Java技術(shù)公眾號：狼王編程。公眾號內(nèi)有大量的技術(shù)文章、海量視頻資源、精美腦圖，不妨來關(guān)注一下！回復(fù)資料領(lǐng)取大量學(xué)習(xí)資源和免費書籍！
