【學(xué)術(shù)前沿】基于上下文的信息生成，用于管理使用圖像字幕的無人機(jī)獲取的數(shù)據(jù)

聲明：本文只是針對個人學(xué)習(xí)記錄，侵權(quán)可刪。本人自覺遵守《中華人民共和國著作權(quán)法》和《伯爾尼公約》等法律，其他個人或組織等轉(zhuǎn)載請保留此聲明，并自負(fù)法律責(zé)任。論文版權(quán)與著作權(quán)等全歸原作者所有。

無人機(jī)(uav)可以有效地收集代表建筑工地各種情況的圖像數(shù)據(jù)，但人工分析獲取現(xiàn)場管理的有用信息需要大量的時間和成本。本文提出了一種從無人機(jī)獲取的數(shù)據(jù)中生成基于時間、空間和視覺上下文的信息的方法。該方法使用圖像字幕從站點(diǎn)圖像中生成關(guān)于位置、狀態(tài)、運(yùn)動、顏色和建設(shè)資源數(shù)量的文本信息。然后，建筑工地的圖像、生成的文本，以及無人機(jī)飛行數(shù)據(jù)，包括緯度、經(jīng)度、日期和一天中的時間，都被整理到一個數(shù)據(jù)庫中。為評估所提出的方法，使用了無人機(jī)在實際施工現(xiàn)場獲得的數(shù)據(jù)。該方法預(yù)測文本信息的平均精度為43.52%，優(yōu)于現(xiàn)有方法。

數(shù)據(jù)收集和存儲技術(shù)的發(fā)展使我們能夠收集大量的數(shù)據(jù)，并通過計算機(jī)系統(tǒng)來管理它們。在這種情況下，建筑項目在規(guī)劃、設(shè)計、施工、運(yùn)營等生命周期內(nèi)產(chǎn)生的數(shù)據(jù)，傳統(tǒng)上是以文檔、圖像、網(wǎng)頁和BIM (Building Information Modeling，簡稱BIM)的形式存儲的。隨著傳感器網(wǎng)絡(luò)和物聯(lián)網(wǎng)(IoT)等技術(shù)的商業(yè)化，建筑行業(yè)可用的數(shù)據(jù)量預(yù)計將進(jìn)一步增加。在建筑行業(yè)積累的“大數(shù)據(jù)”的基礎(chǔ)上，人們做了很多嘗試，提取有用的知識來支持建設(shè)項目管理。為了開發(fā)一個有效的項目管理系統(tǒng)，在從可用數(shù)據(jù)中提取信息時，有必要考慮周圍的環(huán)境、時間和空間背景。

無人機(jī)(uav)的引入使圖像數(shù)據(jù)采集能夠在廣泛的建筑工地代表各種情況。無人機(jī)具有良好的機(jī)動性，可以在短時間內(nèi)生成大量的建筑工地圖像。無人機(jī)獲取的施工現(xiàn)場圖像為管理者提供了視覺信息，如施工資源的存在和施工工作的進(jìn)展情況。通過這些圖像，管理者可以識別施工資源并了解現(xiàn)場的施工過程。然而，人工分析大量的建筑站點(diǎn)圖像需要花費(fèi)大量的時間和精力。當(dāng)建筑場地較大，數(shù)據(jù)記錄周期較長時，這項工作就變得更加困難。計算機(jī)視覺技術(shù)的發(fā)展使得從圖像中自動獲取有用信息成為可能。特別是圖像字幕，一種基于計算機(jī)視覺的技術(shù)，在這一領(lǐng)域正獲得越來越多的關(guān)注。該技術(shù)了解對象的特征、活動和關(guān)系，并以自然語言表達(dá)它們。圖像字幕的使用可以使管理員在很短的時間內(nèi)搜索到他們想要查看的圖像，從而有效地管理每天獲取的大量建筑網(wǎng)站圖像。

此前，圖像字幕的研究主要針對日常圖像的數(shù)據(jù)集，如PASCAL句子數(shù)據(jù)集、Flickr 30K、Microsoft COCO數(shù)據(jù)集、Visual Genome。然而，站點(diǎn)管理人員需要的管理信息比這些技術(shù)所能提供的更多。這些信息包括基于對象的上下文解釋和圖像的情境感知所創(chuàng)建的知識，如材料的數(shù)量、特定結(jié)構(gòu)的安裝狀態(tài)、工人或施工設(shè)備的移動。在圖像字幕技術(shù)的基礎(chǔ)上，需要研究如何從建筑工地圖像中提取這些信息。然而，由于圖像字幕只是從圖像中提取信息，其他難以從圖像中獲取的信息需要單獨(dú)獲取。在建筑工地，由于某些過程中某些任務(wù)的重復(fù)，即使在不同的時間和位置拍攝了相似的圖像，也可能會獲得這些圖像。因此，時間和位置信息應(yīng)該伴隨拍攝的圖像。從圖像中提取的文本信息，如關(guān)鍵建設(shè)資源的位置、顏色、狀態(tài)、運(yùn)動和數(shù)量等，可以與時間和空間數(shù)據(jù)結(jié)合生成新的信息。例如，通過與計劃數(shù)據(jù)的比較，該信息可以用作項目股東之間的訴訟證據(jù)或施工過程的進(jìn)度管理。它還可以幫助制作每日日志，定期記錄建筑工地的竣工數(shù)據(jù)。

生成基于上下文的構(gòu)造信息的框架

密集字幕模型的簡要模式

使用帶有圖像區(qū)域和字幕的VGG圖像注釋器手工標(biāo)記的例子

五種預(yù)處理技術(shù)在我們數(shù)據(jù)集上的應(yīng)用

(a)地面真值與(b)預(yù)測結(jié)果的比較

編制電子表格

(a)訓(xùn)練圖像和(b)測試圖像的例子

預(yù)測結(jié)果對比:(a)經(jīng)過預(yù)處理的圖像和(b)未經(jīng)預(yù)處理的圖像

本研究提出了一種從無人機(jī)獲取的數(shù)據(jù)中生成基于上下文的信息的方法。該方法從無人機(jī)獲取的建筑站點(diǎn)圖像中提供關(guān)于建筑資源的位置、狀態(tài)、運(yùn)動、顏色和數(shù)量的信息。基于深度學(xué)習(xí)的密集字幕基于目標(biāo)檢測從圖像區(qū)域創(chuàng)建文本描述。然后，該方法以電子表格的形式構(gòu)建一個數(shù)據(jù)庫，該數(shù)據(jù)庫包含建筑站點(diǎn)圖像、無人機(jī)飛行數(shù)據(jù)的時間和位置，以及文本描述技術(shù)生成的文本信息。為了驗證所提出的方法，使用了一個由無人機(jī)在六個不同的建筑工地捕獲的1431張圖像和描述圖像區(qū)域的8601個字幕組成的數(shù)據(jù)集。在五種預(yù)處理技術(shù)處理的1365幅圖像中，用1000幅圖像訓(xùn)練密集字幕模型，其余365幅圖像對模型進(jìn)行測試。密集字幕模型從描述建筑工地的測試圖像中預(yù)測句子的準(zhǔn)確率為43.52%，優(yōu)于現(xiàn)有密集字幕研究。利用預(yù)測的句子從無人機(jī)獲取的建筑站點(diǎn)圖像中提取基于上下文的信息，以及時間和位置信息，建立數(shù)據(jù)庫。實驗結(jié)果表明，該方法能夠有效地從無人機(jī)獲取的數(shù)據(jù)中生成基于上下文的信息。

本研究對建筑業(yè)的貢獻(xiàn)是雙重的。首先，我們的研究提出了一種基于圖像標(biāo)題的方法來從無人機(jī)獲取的建筑站點(diǎn)圖像中生成時間-空間和基于視覺上下文的信息。為有效管理無人機(jī)獲取的海量施工現(xiàn)場數(shù)據(jù)，本文提出的方法將施工現(xiàn)場圖像、基于文本的圖像描述、施工現(xiàn)場位置和時間等屬性的數(shù)據(jù)庫系統(tǒng)化，為施工現(xiàn)場管理者提供管理信息。利用所生成的基于上下文的信息，管理人員可以識別特定施工資源的數(shù)量和確切位置，以及使用所提議方法生成的數(shù)據(jù)庫在給定時間內(nèi)特定施工部分臨時結(jié)構(gòu)的安裝狀態(tài)。此外，根據(jù)基于上下文的信息，如果某一特定部分的施工進(jìn)度晚于計劃的進(jìn)度，管理者可能會做出決策，例如增加對該部分的資源投入或改變施工過程的順序。我們的實驗結(jié)果表明了基于深度學(xué)習(xí)的圖像字幕在建筑行業(yè)中的可行性。其次，創(chuàng)建了一個包含建筑網(wǎng)站圖片和說明文字的數(shù)據(jù)集。建筑行業(yè)現(xiàn)有的圖像數(shù)據(jù)集包括建筑資源的識別和位置信息，用于分類、檢測和分割。相比之下，我們的數(shù)據(jù)集包含五種類型的建筑資源文本信息，以及它們的識別和位置信息。該數(shù)據(jù)集可以繼續(xù)用作從建筑站點(diǎn)圖像生成文本信息的基準(zhǔn)。

本研究旨在開發(fā)一種有效管理無人機(jī)獲取的海量施工現(xiàn)場數(shù)據(jù)的方法。本研究的結(jié)果有望通過生成基于上下文的建筑信息來提高無人機(jī)獲取數(shù)據(jù)的可用性，并進(jìn)一步促進(jìn)建筑的自動化。然而，未來的研究需要將這種方法應(yīng)用到實際的建筑工地。使用靜態(tài)圖像創(chuàng)建運(yùn)動信息的困難和相對于建筑資源識別的低性能將提示未來研究努力的方向