作者：Magic Kaito

來(lái)源：水滴與銀彈

在 Python 開(kāi)發(fā)中，yield 關(guān)鍵字的使用其實(shí)較為頻繁，例如大集合的生成，簡(jiǎn)化代碼結(jié)構(gòu)、協(xié)程與并發(fā)都會(huì)用到它。

但是，你是否真正了解 yield 的運(yùn)行過(guò)程呢？

這篇文章，我們就來(lái)看一下 yield 的運(yùn)行流程，以及在開(kāi)發(fā)中哪些場(chǎng)景適合使用 yield。

生成器

如果在一個(gè)方法內(nèi)，包含了 yield 關(guān)鍵字，那么這個(gè)函數(shù)就是一個(gè)「生成器」。

生成器其實(shí)就是一個(gè)特殊的迭代器，它可以像迭代器那樣，迭代輸出方法內(nèi)的每個(gè)元素。

如果你還不清楚「迭代器」是什么，可以參考這篇文章：Python進(jìn)階——迭代器和可迭代對(duì)象有什么區(qū)別？

我們來(lái)看一個(gè)包含 yield 關(guān)鍵字的方法：

# coding: utf8

# 生成器
def gen(n):
    for i in range(n):
        yield i

g = gen(5)      # 創(chuàng)建一個(gè)生成器
print(g)        # <generator object gen at 0x10bb46f50>
print(type(g))  # <type 'generator'>

# 迭代生成器中的數(shù)據(jù)
for i in g:
    print(i)
    
# Output:
# 0 1 2 3 4

注意，在這個(gè)例子中，當(dāng)我們執(zhí)行 g = gen(5) 時(shí)，gen 中的代碼其實(shí)并沒(méi)有執(zhí)行，此時(shí)我們只是創(chuàng)建了一個(gè)「生成器對(duì)象」，它的類(lèi)型是 generator。

然后，當(dāng)我們執(zhí)行 for i in g，每執(zhí)行一次循環(huán)，就會(huì)執(zhí)行到 yield 處，返回一次 yield 后面的值。

這個(gè)迭代過(guò)程是和迭代器最大的區(qū)別。

換句話(huà)說(shuō)，如果我們想輸出 5 個(gè)元素，在創(chuàng)建生成器時(shí)，這個(gè) 5 個(gè)元素其實(shí)還并沒(méi)有產(chǎn)生，什么時(shí)候產(chǎn)生呢？只有在執(zhí)行 for 循環(huán)遇到 yield 時(shí)，才會(huì)依次生成每個(gè)元素。

此外，生成器除了和迭代器一樣實(shí)現(xiàn)迭代數(shù)據(jù)之外，還包含了其他方法：

generator.__next__()：執(zhí)行 for 時(shí)調(diào)用此方法，每次執(zhí)行到 yield 就會(huì)停止，然后返回 yield 后面的值，如果沒(méi)有數(shù)據(jù)可迭代，拋出 StopIterator 異常，for 循環(huán)結(jié)束
generator.send(value)：外部傳入一個(gè)值到生成器內(nèi)部，改變 yield 前面的值
generator.throw(type[, value[, traceback]])：外部向生成器拋出一個(gè)異常
generator.close()：關(guān)閉生成器

通過(guò)使用生成器的這些方法，我們可以完成很多有意思的功能。

先來(lái)看生成器的 __next__ 方法，我們看下面這個(gè)例子。

# coding: utf8

def gen(n):
    for i in range(n):
        print('yield before')
        yield i
        print('yield after')

g = gen(3)      # 創(chuàng)建一個(gè)生成器
print(g.__next__())  # 0
print('----')
print(g.__next__())  # 1
print('----')
print(g.__next__())  # 2
print('----')
print(g.__next__())  # StopIteration

# Output:
# yield before
# 0
# ----
# yield after
# yield before
# 1
# ----
# yield after
# yield before
# 2
# ----
# yield after
# Traceback (most recent call last):
#   File "gen.py", line 16, in <module>
#     print(g.__next__())  # StopIteration
# StopIteration

在這個(gè)例子中，我們定義了 gen 方法，這個(gè)方法包含了 yield 關(guān)鍵字。然后我們執(zhí)行 g = gen(3) 創(chuàng)建一個(gè)生成器，但是這次沒(méi)有執(zhí)行 for 去迭代它，而是多次調(diào)用 g.__next__() 去輸出生成器中的元素。

我們看到，當(dāng)執(zhí)行 g.__next__()時(shí)，代碼就會(huì)執(zhí)行到 yield 處，然后返回 yield 后面的值，如果繼續(xù)調(diào)用 g.__next__()，注意，你會(huì)發(fā)現(xiàn)，這次執(zhí)行的開(kāi)始位置，是上次 yield 結(jié)束的地方，并且它還保留了上一次執(zhí)行的上下文，繼續(xù)向后迭代。

這就是使用 yield 的作用，在迭代生成器時(shí)，每一次執(zhí)行都可以保留上一次的狀態(tài)，而不是像普通方法那樣，遇到 return 就返回結(jié)果，下一次執(zhí)行只能再次重復(fù)上一次的流程。

生成器除了能保存狀態(tài)之外，我們還可以通過(guò)其他方式，改變其內(nèi)部的狀態(tài)，這就是下面要講的 send 和 throw 方法。

send

上面的例子中，我們只展示了在 yield 后有值的情況，其實(shí)還可以使用 j = yield i 這種語(yǔ)法，我們看下面的代碼：

# coding: utf8

def gen():
    i = 1
    while True:
        j = yield i
        i *= 2
        if j == -1:
            break

此時(shí)如果我們執(zhí)行下面的代碼：

for i in gen():
    print(i)
    time.sleep(1)

輸出結(jié)果會(huì)是 1 2 4 8 16 32 64 ... 一直循環(huán)下去，直到我們殺死這個(gè)進(jìn)程才能停止。

這段代碼一直循環(huán)的原因在于，它無(wú)法執(zhí)行到 j == -1 這個(gè)分支里 break 出來(lái)，如果我們想讓代碼執(zhí)行到這個(gè)地方，如何做呢？

這里就要用到生成器的 send 方法了，send 方法可以把外部的值傳入生成器內(nèi)部，從而改變生成器的狀態(tài)。

代碼可以像下面這樣寫(xiě)：

g = gen()   # 創(chuàng)建一個(gè)生成器
print(g.__next__())  # 1
print(g.__next__())  # 2
print(g.__next__())  # 4
# send 把 -1 傳入生成器內(nèi)部 走到了 j = -1 這個(gè)分支
print(g.send(-1))   # StopIteration 迭代停止

當(dāng)我們執(zhí)行 g.send(-1) 時(shí)，相當(dāng)于把 -1 傳入到了生成器內(nèi)部，然后賦值給了 yield 前面的 j，此時(shí) j = -1，然后這個(gè)方法就會(huì) break 出來(lái)，不會(huì)繼續(xù)迭代下去。

throw

外部除了可以向生成器內(nèi)部傳入一個(gè)值外，還可以傳入一個(gè)異常，也就是調(diào)用 throw 方法：

# coding: utf8

def gen():
    try:
        yield 1
    except ValueError:
        yield 'ValueError'
    finally:
        print('finally')

g = gen()   # 創(chuàng)建一個(gè)生成器
print(g.__next__()) # 1
# 向生成器內(nèi)部傳入異常 返回ValueError
print(g.throw(ValueError))

# Output：
# 1
# ValueError
# finally

這個(gè)例子創(chuàng)建好生成器后，使用 g.throw(ValueError) 的方式，向生成器內(nèi)部傳入了一個(gè)異常，走到了生成器異常處理的分支邏輯。

close

生成器的 close 方法也比較簡(jiǎn)單，就是手動(dòng)關(guān)閉這個(gè)生成器，關(guān)閉后的生成器無(wú)法再進(jìn)行操作。

>>> g = gen()
>>> g.close() # 關(guān)閉生成器
>>> g.__next__() # 無(wú)法迭代數(shù)據(jù)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
StopIteration

close 方法我們?cè)陂_(kāi)發(fā)中使用得比較少，了解一下就好。

使用場(chǎng)景

了解了 yield 和生成器的使用方式，那么 yield 和生成器一般用在哪些業(yè)務(wù)場(chǎng)景中呢？

下面我介紹幾個(gè)例子，分別是大集合的生成、簡(jiǎn)化代碼結(jié)構(gòu)、協(xié)程與并發(fā)，你可以參考這些使用場(chǎng)景來(lái)使用 yield。

大集合的生成

如果你想生成一個(gè)非常大的集合，如果使用 list 創(chuàng)建一個(gè)集合，這會(huì)導(dǎo)致在內(nèi)存中申請(qǐng)一個(gè)很大的存儲(chǔ)空間，例如想下面這樣：

# coding: utf8

def big_list():
    result = []
    for i in range(10000000000):
        result.append(i)
    return result

# 一次性在內(nèi)存中生成大集合 內(nèi)存占用非常大
for i in big_list():
    print(i)

這種場(chǎng)景，我們使用生成器就能很好地解決這個(gè)問(wèn)題。

因?yàn)樯善髦挥性趫?zhí)行到 yield 時(shí)才會(huì)迭代數(shù)據(jù)，這時(shí)只會(huì)申請(qǐng)需要返回元素的內(nèi)存空間，代碼可以這樣寫(xiě)：

# coding: utf8

def big_list():
    for i in range(10000000000):
        yield i

# 只有在迭代時(shí) 才依次生成元素 減少內(nèi)存占用
for i in big_list():
    print(i)

簡(jiǎn)化代碼結(jié)構(gòu)

我們?cè)陂_(kāi)發(fā)時(shí)還經(jīng)常遇到這樣一種場(chǎng)景，如果一個(gè)方法要返回一個(gè) list，但這個(gè) list 是多個(gè)邏輯塊組合后才能產(chǎn)生的，這就會(huì)導(dǎo)致我們的代碼結(jié)構(gòu)變得很復(fù)雜：

# coding: utf8

def gen_list():
    # 多個(gè)邏輯塊 組成生成一個(gè)列表
    result = []
    for i in range(10):
        result.append(i)
    for j in range(5):
        result.append(j * j)
    for k in [100, 200, 300]:
        result.append(k)
    return result
    
for item in gen_list():
    print(item)

這種情況下，我們只能在每個(gè)邏輯塊內(nèi)使用 append 向 list 中追加元素，代碼寫(xiě)起來(lái)比較啰嗦。

此時(shí)如果使用 yield 來(lái)生成這個(gè) list，代碼就簡(jiǎn)潔很多：

# coding: utf8

def gen_list():
    # 多個(gè)邏輯塊 使用yield 生成一個(gè)列表
    for i in range(10):
        yield i
    for j in range(5):
        yield j * j
    for k in [100, 200, 300]:
        yield k
        
for item in gen_list():
    print(i)

使用 yield 后，就不再需要定義 list 類(lèi)型的變量，只需在每個(gè)邏輯塊直接 yield 返回元素即可，可以達(dá)到和前面例子一樣的功能。

我們看到，使用 yield 的代碼更加簡(jiǎn)潔，結(jié)構(gòu)也更清晰，另外的好處是只有在迭代元素時(shí)才申請(qǐng)內(nèi)存空間，降低了內(nèi)存資源的消耗。

協(xié)程與并發(fā)

還有一種場(chǎng)景是 yield 使用非常多的，那就是「協(xié)程與并發(fā)」。

如果我們想提高程序的執(zhí)行效率，通常會(huì)使用多進(jìn)程、多線(xiàn)程的方式編寫(xiě)程序代碼，最常用的編程模型就是「生產(chǎn)者-消費(fèi)者」模型，即一個(gè)進(jìn)程 / 線(xiàn)程生產(chǎn)數(shù)據(jù)，其他進(jìn)程 / 線(xiàn)程消費(fèi)數(shù)據(jù)。

在開(kāi)發(fā)多進(jìn)程、多線(xiàn)程程序時(shí)，為了防止共享資源被篡改，我們通常還需要加鎖進(jìn)行保護(hù)，這樣就增加了編程的復(fù)雜度。

在 Python 中，除了使用進(jìn)程和線(xiàn)程之外，我們還可以使用「協(xié)程」來(lái)提高代碼的運(yùn)行效率。

什么是協(xié)程？

簡(jiǎn)單來(lái)說(shuō)，由多個(gè)程序塊組合協(xié)作執(zhí)行的程序，稱(chēng)之為「協(xié)程」。

而在 Python 中使用「協(xié)程」，就需要用到 yield 關(guān)鍵字來(lái)配合。

可能這么說(shuō)還是太好理解，我們用 yield 實(shí)現(xiàn)一個(gè)協(xié)程生產(chǎn)者、消費(fèi)者的例子：

# coding: utf8

def consumer():
    i = None
    while True:
        # 拿到 producer 發(fā)來(lái)的數(shù)據(jù)
        j = yield i 
        print('consume %s' % j)

def producer(c):
    c.__next__()
    for i in range(5):
        print('produce %s' % i)
        # 發(fā)數(shù)據(jù)給 consumer
        c.send(i)
    c.close()

c = consumer()
producer(c)

# Output:
# produce 0
# consume 0
# produce 1
# consume 1
# produce 2
# consume 2
# produce 3
# consume 3
...

這個(gè)程序的執(zhí)行流程如下：

c = consumer() 創(chuàng)建一個(gè)生成器對(duì)象
producer(c) 開(kāi)始執(zhí)行，c.__next()__ 會(huì)啟動(dòng)生成器 consumer 直到代碼運(yùn)行到 j = yield i 處，此時(shí) consumer 第一次執(zhí)行完畢，返回
producer 函數(shù)繼續(xù)向下執(zhí)行，直到 c.send(i) 處，這里利用生成器的 send 方法，向 consumer 發(fā)送數(shù)據(jù)
consumer 函數(shù)被喚醒，從 j = yield i 處繼續(xù)開(kāi)始執(zhí)行，并且接收到 producer 傳來(lái)的數(shù)據(jù)賦值給 j，然后打印輸出，直到再次執(zhí)行到 yield 處，返回
producer 繼續(xù)循環(huán)執(zhí)行上面的過(guò)程，依次發(fā)送數(shù)據(jù)給 cosnumer，直到循環(huán)結(jié)束
最終 c.close() 關(guān)閉 consumer 生成器，程序退出

在這個(gè)例子中我們發(fā)現(xiàn)，程序在 producer 和 consumer 這 2 個(gè)函數(shù)之間來(lái)回切換執(zhí)行，相互協(xié)作，完成了生產(chǎn)任務(wù)、消費(fèi)任務(wù)的業(yè)務(wù)場(chǎng)景，最重要的是，整個(gè)程序是在單進(jìn)程單線(xiàn)程下完成的。

這個(gè)例子用到了上面講到的 yield、生成器的 __next__、send、close 方法。如果不好理解，你可以多看幾遍這個(gè)例子，最好自己測(cè)試一下。

我們使用協(xié)程編寫(xiě)生產(chǎn)者、消費(fèi)者的程序時(shí)，它的好處是：

整個(gè)程序運(yùn)行過(guò)程中無(wú)鎖，不用考慮共享變量的保護(hù)問(wèn)題，降低了編程復(fù)雜度
程序在函數(shù)之間來(lái)回切換，這個(gè)過(guò)程是用戶(hù)態(tài)下進(jìn)行的，不像進(jìn)程 / 線(xiàn)程那樣，會(huì)陷入到內(nèi)核態(tài)，這就減少了內(nèi)核態(tài)上下文切換的消耗，執(zhí)行效率更高

所以，Python 的 yield 和生成器實(shí)現(xiàn)了協(xié)程的編程方式，為程序的并發(fā)執(zhí)行提供了編程基礎(chǔ)。

Python 中的很多第三方庫(kù)，都是基于這一特性進(jìn)行封裝的，例如 gevent、tornado，它們都大大提高了程序的運(yùn)行效率。

總結(jié)

總結(jié)一下，這篇文章我們主要講了 yield 的使用方式，以及生成器的各種特性。

生成器是一種特殊的迭代器，它除了可以迭代數(shù)據(jù)之外，在執(zhí)行時(shí)還可以保存方法中的狀態(tài)，除此之外，它還提供了外部改變內(nèi)部狀態(tài)的方式，把外部的值傳入到生成器內(nèi)部。

利用 yield 和生成器的特性，我們?cè)陂_(kāi)發(fā)中可以用在大集成的生成、簡(jiǎn)化代碼結(jié)構(gòu)、協(xié)程與并發(fā)的業(yè)務(wù)場(chǎng)景中。

Python 的 yield 也是實(shí)現(xiàn)協(xié)程和并發(fā)的基礎(chǔ)，它提供了協(xié)程這種用戶(hù)態(tài)的編程模式，提高了程序運(yùn)行的效率。

Python貓技術(shù)交流群開(kāi)放啦！群里既有國(guó)內(nèi)一二線(xiàn)大廠在職員工，也有國(guó)內(nèi)外高校在讀學(xué)生，既有十多年碼齡的編程老鳥(niǎo)，也有中小學(xué)剛剛?cè)腴T(mén)的新人，學(xué)習(xí)氛圍良好！想入群的同學(xué)，請(qǐng)?jiān)诠?hào)內(nèi)回復(fù)『交流群』，獲取貓哥的微信（謝絕廣告黨，非誠(chéng)勿擾！）~

還不過(guò)癮？試試它們

▲寫(xiě)好 Python 代碼的幾條重要技巧

▲Python 進(jìn)階：enum 模塊源碼分析

▲內(nèi)卷時(shí)代，更應(yīng)提升代碼質(zhì)量！

▲如何在 Python 程序中實(shí)現(xiàn)緩存？

▲如何用 Python 實(shí)現(xiàn)優(yōu)先級(jí)調(diào)度器？

▲計(jì)算機(jī)為什么要從 0 開(kāi)始計(jì)數(shù)？

如果你覺(jué)得本文有幫助

請(qǐng)慷慨分享和點(diǎn)贊，感謝啦！