面試官：運(yùn)行 100 萬(wàn)個(gè)并發(fā)任務(wù)需要多少內(nèi)存？問(wèn)倒一大片。。。

首先，我們需要明確每個(gè)并發(fā)任務(wù)所需的內(nèi)存量。假設(shè)每個(gè)任務(wù)需要占用1MB的內(nèi)存空間。那么100萬(wàn)個(gè)并發(fā)任務(wù)將需要100萬(wàn)MB的內(nèi)存，即1000GB或1TB的內(nèi)存。

接下來(lái)，我們可以使用多線程或異步編程來(lái)實(shí)現(xiàn)并發(fā)任務(wù)。下面是一個(gè)使用Python的多線程示例代碼：

import threading
 
def task():
    # 執(zhí)行任務(wù)的代碼
    pass
 
# 創(chuàng)建100萬(wàn)個(gè)線程
threads = []
for _ in range(1000000):
    t = threading.Thread(target=task)
    threads.append(t)
 
# 啟動(dòng)所有線程
for t in threads:
    t.start()
 
# 等待所有線程完成
for t in threads:
    t.join()

在上面的代碼中，我們創(chuàng)建了100萬(wàn)個(gè)線程，并將它們添加到一個(gè)列表中。然后，我們依次啟動(dòng)每個(gè)線程，并使用join()方法等待所有線程完成。

請(qǐng)注意，上述代碼只是一個(gè)示例，實(shí)際情況可能會(huì)更加復(fù)雜。例如，您可能需要使用線程池或其他并發(fā)庫(kù)來(lái)管理并發(fā)任務(wù)。

另一種實(shí)現(xiàn)并發(fā)任務(wù)的方法是使用異步編程。下面是一個(gè)使用Python的asyncio庫(kù)的示例代碼：

import asyncio
 
async def task():
    # 執(zhí)行任務(wù)的代碼
    pass
 
# 創(chuàng)建一個(gè)事件循環(huán)
loop = asyncio.get_event_loop()
 
# 創(chuàng)建100萬(wàn)個(gè)任務(wù)
tasks = []
for _ in range(1000000):
    t = asyncio.ensure_future(task())
    tasks.append(t)
 
# 執(zhí)行所有任務(wù)
loop.run_until_complete(asyncio.wait(tasks))

在上面的代碼中，我們創(chuàng)建了100萬(wàn)個(gè)任務(wù)，并將它們添加到一個(gè)列表中。然后，我們使用asyncio.ensure_future()方法將每個(gè)任務(wù)轉(zhuǎn)換為一個(gè)Future對(duì)象。最后，我們使用asyncio.wait()方法執(zhí)行所有任務(wù)。

需要注意的是，異步編程通常需要更少的內(nèi)存，因?yàn)樗梢愿行У乩糜?jì)算資源。但是，具體的內(nèi)存使用情況取決于任務(wù)的性質(zhì)和實(shí)現(xiàn)方式。

總結(jié)起來(lái)，運(yùn)行100萬(wàn)個(gè)并發(fā)任務(wù)所需的內(nèi)存量取決于每個(gè)任務(wù)所需的內(nèi)存量以及任務(wù)的實(shí)現(xiàn)方式。在本文中，我們提供了使用多線程和異步編程的示例代碼，并討論了內(nèi)存使用情況。然而，實(shí)際情況可能因系統(tǒng)配置和任務(wù)的特性而有所不同，因此在實(shí)際應(yīng)用中需要進(jìn)行更詳細(xì)的測(cè)試和評(píng)估。

所以，我在網(wǎng)上找到一篇文章，作者對(duì)不同的語(yǔ)言如：Rust、Go、Java、C#、Python、Node.js 和 Elixir 等流行編程語(yǔ)言在異步和多線程編程中的內(nèi)存消耗對(duì)比。

結(jié)果如下：

launch only one task

從上圖中的結(jié)果可以看出，Go 與 Rust 程序消耗的內(nèi)存非常少，其次是 Python，.NET 的內(nèi)存占用最大。

10k Tasks

從上圖結(jié)果可以看出，消耗內(nèi)存最大的是Java，.NET沒(méi)有很大的明顯變化，其它幾個(gè)變化不是很明顯。

100k Tasks

這次結(jié)果，我們看到了一些很明顯的變化。Go 和 Python 消耗的內(nèi)存迅速增長(zhǎng)，而 Java 虛擬線程，Rust async 和 Node.JS 保持相對(duì)較低的內(nèi)存消耗。.NET 內(nèi)存使用量仍然沒(méi)明顯增加。

1 Million Tasks

從上面的結(jié)果看出，只有 Rust async（無(wú)論是 tokio 還是 async-std）、Java 虛擬線程和 .NET 可以運(yùn)行。Go，Python 和 Node.JS 運(yùn)行后直接耗盡測(cè)試機(jī)的系統(tǒng)內(nèi)存（16GB），沒(méi)能完成基準(zhǔn)測(cè)試。

總結(jié)

我發(fā)現(xiàn)它們?cè)趦?nèi)存消耗上差異巨大，有時(shí)甚至超過(guò)了 20 倍。某些程序僅消耗略超過(guò) 100 MB 內(nèi)存，而其他程序在處理 10k 連接時(shí)內(nèi)存消耗了將近 3GB。這些程序都相當(dāng)復(fù)雜，且特性各不相同，因此難以直接比較并得出有意義的結(jié)論。

參考：https://www.shili8.cn/article/detail_20001790008.html https://pkolaczk.github.io/memory-consumption-of-async/