【學(xué)術(shù)前沿】卷積神經(jīng)網(wǎng)絡(luò):基于計(jì)算機(jī)視覺(jué)的施工人員活動(dòng)評(píng)估

計(jì)算機(jī)視覺(jué)方法已廣泛應(yīng)用于從視頻中自動(dòng)識(shí)別工人的活動(dòng)。雖然從靜止的幀中獲取互補(bǔ)信息已經(jīng)取得了相當(dāng)大的進(jìn)展，但獲取它們之間的運(yùn)動(dòng)仍然是一個(gè)挑戰(zhàn)。因此，這阻礙了實(shí)時(shí)監(jiān)控的能力。考慮到這一挑戰(zhàn)，我們提出了一種集成紅綠藍(lán)(RGB)、光流和灰流CNN的改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)(CNN)，來(lái)準(zhǔn)確監(jiān)測(cè)和自動(dòng)評(píng)估施工過(guò)程中與安裝加固相關(guān)的工人活動(dòng)。在中國(guó)武漢的幾個(gè)建筑項(xiàng)目中，創(chuàng)建了一個(gè)包含工人安裝鋼筋照片的數(shù)據(jù)庫(kù)。然后，該數(shù)據(jù)庫(kù)被用來(lái)訓(xùn)練和測(cè)試開(kāi)發(fā)出來(lái)的CNN網(wǎng)絡(luò)。結(jié)果表明，該方法能夠準(zhǔn)確地檢測(cè)工人的活動(dòng)。開(kāi)發(fā)的基于計(jì)算機(jī)視覺(jué)的方法可以被施工經(jīng)理用作一種機(jī)制，以幫助他們確保項(xiàng)目達(dá)到預(yù)先確定的交付成果。

擁有一支高效的員工隊(duì)伍是決定建設(shè)項(xiàng)目時(shí)間和成本表現(xiàn)的關(guān)鍵因素。統(tǒng)計(jì)證據(jù)表明，在世界范圍內(nèi)，建筑業(yè)的生產(chǎn)力在過(guò)去幾十年里一直在下降。有一個(gè)問(wèn)題阻礙了在施工期間制定和實(shí)施提高生產(chǎn)力計(jì)劃的能力，那就是缺乏建立工人績(jī)效“基線”的數(shù)據(jù)。然而，如果要準(zhǔn)確地實(shí)時(shí)監(jiān)控工人的生產(chǎn)力，那么施工經(jīng)理和他們的團(tuán)隊(duì)就需要直接建立適當(dāng)?shù)臋C(jī)制來(lái)解決那些影響運(yùn)營(yíng)的問(wèn)題，以確保項(xiàng)目的預(yù)期績(jī)效水平得以維持。其必然結(jié)果是控制和維護(hù)項(xiàng)目預(yù)先確定的可交付成果的能力，并獲得對(duì)不利影響生產(chǎn)力的問(wèn)題急需的理解和知識(shí)。

已有大量研究試圖通過(guò)各種方法(如直接觀察、調(diào)查和訪談)監(jiān)測(cè)和分析工人現(xiàn)場(chǎng)活動(dòng)。雖然這些方法在創(chuàng)建用于監(jiān)測(cè)工人活動(dòng)的知識(shí)體系方面很有用，但它們是耗時(shí)和勞動(dòng)密集型的，往往會(huì)產(chǎn)生主觀結(jié)果。為了解決這些限制，已經(jīng)出現(xiàn)了一種轉(zhuǎn)變，即通過(guò)使用非視覺(jué)傳感器(如射頻識(shí)別(RFID)標(biāo)簽、超寬帶和全球定位系統(tǒng)(GPS)傳感器等)來(lái)監(jiān)測(cè)單個(gè)工人的活動(dòng)，并跟蹤他們的位置和設(shè)備。現(xiàn)有的幾種基于非視覺(jué)傳感器的方法通常跟蹤工人的位置，因此不測(cè)量一個(gè)過(guò)程的關(guān)鍵操作參數(shù)，如工作順序和周期時(shí)間。此外，為確定工人的工作地點(diǎn)和生產(chǎn)力水平所需要獲得的數(shù)據(jù)的準(zhǔn)確性往往各不相同，而且可能包括相當(dāng)大的噪音，因而難以進(jìn)行業(yè)績(jī)?cè)u(píng)估。

為了解決基于位置的方法用于活動(dòng)識(shí)別的局限性，計(jì)算機(jī)視覺(jué)已被廣泛用于現(xiàn)場(chǎng)自動(dòng)監(jiān)控工人。從本質(zhì)上來(lái)說(shuō)，計(jì)算機(jī)視覺(jué)能夠從圖像和視頻中提取豐富的信息(如項(xiàng)目實(shí)體的位置和行為、場(chǎng)地條件等)。但建筑工程領(lǐng)域仍存在一些尚未解決的挑戰(zhàn)，其中包括:

• 在復(fù)雜和不斷變化的條件下的活動(dòng):工作者的活動(dòng)通常記錄在各種變化的背景中，這些背景受到遮擋、光照變化和視角變化的影響。

• 多主體互動(dòng)和群體活動(dòng):工人與一個(gè)或多個(gè)人和物體(如材料)進(jìn)行互動(dòng)活動(dòng)。因此，如何用更有力的方法來(lái)了解施工現(xiàn)場(chǎng)仍然是一個(gè)問(wèn)題。

為了克服這些問(wèn)題，卷積神經(jīng)網(wǎng)絡(luò)(CNN)可以應(yīng)用于自動(dòng)識(shí)別工人的活動(dòng)。深度三流CNN可以容納復(fù)雜的活動(dòng)，因?yàn)樗梢酝瑫r(shí)捕捉靜態(tài)空間特征，短期和長(zhǎng)期運(yùn)動(dòng)的視頻。在此背景下，本文的研究開(kāi)發(fā)了一個(gè)深三流CNN，它集成了紅-綠-藍(lán)(RGB)、光流和灰流CNN來(lái)自動(dòng)識(shí)別建筑工地工人的活動(dòng)。同時(shí)，我們使用一種增強(qiáng)融合策略來(lái)融合三種流CNN的結(jié)果。開(kāi)發(fā)的三流CNN的技術(shù)挑戰(zhàn)和對(duì)未來(lái)研究的影響隨后被確定。

工人活動(dòng)識(shí)別的研究過(guò)程

提出的三流CNN模型的工作流程

從數(shù)據(jù)集中提取的操作示例

“1”表示“鋼彎曲”，“2”表示“運(yùn)輸”，“3”表示“行走”

提出了一種融合RGB、光流和灰度流的改進(jìn)CNN，用于準(zhǔn)確監(jiān)測(cè)和自動(dòng)評(píng)估工人活動(dòng)，以改善建設(shè)項(xiàng)目的管理。我們建立了一個(gè)新的真實(shí)世界數(shù)據(jù)集，該數(shù)據(jù)集涵蓋了鋼筋固定器的三個(gè)常見(jiàn)動(dòng)作類別(即，鋼筋彎曲、運(yùn)輸和行走)，并在一個(gè)實(shí)驗(yàn)中使用來(lái)驗(yàn)證所引入的改進(jìn)的CNN。實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的CNN獲得了良好的性能，平均準(zhǔn)確率達(dá)到85%，在未來(lái)的實(shí)際應(yīng)用中具有良好的前景。

這項(xiàng)研究的主要貢獻(xiàn)有兩方面。首先，應(yīng)用先進(jìn)的圖像處理技術(shù)分析施工作業(yè)。其次，開(kāi)發(fā)的CNN方法可以自動(dòng)實(shí)時(shí)監(jiān)控生產(chǎn)力，并向經(jīng)理和工人提供即時(shí)反饋。

然而，仍存在一些限制，需要改進(jìn)以實(shí)現(xiàn)有效和高效的實(shí)時(shí)監(jiān)測(cè):

• 長(zhǎng)序列的實(shí)時(shí)跟蹤:所開(kāi)發(fā)的算法對(duì)工人活動(dòng)識(shí)別的準(zhǔn)確性起著關(guān)鍵作用。然而，與遮擋相關(guān)的問(wèn)題通常會(huì)影響跟蹤工作者的能力，因此需要關(guān)注遮擋問(wèn)題。

• 定義行動(dòng)的時(shí)間序列:雖然開(kāi)發(fā)的方法可以準(zhǔn)確地識(shí)別工人的活動(dòng)，但由于缺乏定義行動(dòng)的時(shí)間序列(例如開(kāi)始點(diǎn)和完成點(diǎn))的知識(shí)，它的實(shí)際應(yīng)用(例如，工人的生產(chǎn)力)是有限的。

• 缺乏大規(guī)模的數(shù)據(jù)庫(kù):這項(xiàng)研究由大約1000個(gè)片段組成，這些片段被用來(lái)訓(xùn)練混合CNN模型，被認(rèn)為是小的。缺乏可用的數(shù)據(jù)庫(kù)是阻礙使用計(jì)算機(jī)視覺(jué)進(jìn)行動(dòng)作分析的主要障礙。在與幾家建筑公司的合作中，研究人員未來(lái)將創(chuàng)建一個(gè)更大的數(shù)據(jù)集，從而提高擬議的CNN系統(tǒng)的準(zhǔn)確性。