插穴在线观看亚洲,精品激情,九九九免费,亚洲视频欧洲视频,日逼视频网站免费观看,免费无码婬片A片AAA毛多多,欧美大黄片,日韩va

點擊下方卡片，關(guān)注“新機器視覺”公眾號

重磅干貨，第一時間送達

多傳感器信息融合（Multi-sensor Information Fusion,MSIF），就是利用計算機技術(shù)將來自多傳感器或多源的信息和數(shù)據(jù)，在一定的準則下加以自動分析和綜合，以完成所需要的決策和估計而進行的信息處理過程。

硬同步：又稱硬件同步，使用同一種硬件同時發(fā)布觸發(fā)采集命令，實現(xiàn)各傳感器采集、測量的時間同步。做到同一時刻采集相同的信息。

軟同步：又稱軟件同步，分為時間同步和空間同步。

（1）時間同步：又稱時間戳同步，通過統(tǒng)一的主機給各個傳感器提供基準時間，各傳感器根據(jù)已經(jīng)校準后的各自時間為各自獨立采集的數(shù)據(jù)加上時間戳信息，可以做到所有傳感器時間戳同步，但由于各個傳感器各自采集周期相互獨立，無法保證同一時刻采集相同的信息。

（2）空間同步：?將不同傳感器坐標系的測量值轉(zhuǎn)換到同一個坐標系中，其中激光傳感器在高速移動的情況下需要考慮當(dāng)前速度下的幀內(nèi)位移校準。

多傳感器融合的原理：多傳感器信息融合技術(shù)的基本原理就像人的大腦綜合處理信息的過程一樣，將各種傳感器進行多層次、多空間的信息互補和優(yōu)化組合處理，最終產(chǎn)生對觀測環(huán)境的一致性解釋。在這個過程中要充分地利用多源數(shù)據(jù)進行合理支配與使用，而信息融合的最終目標則是基于各傳感器獲得的分離觀測信息，通過對信息多級別、多方面組合導(dǎo)出更多有用信息。這不僅是利用了多個傳感器相互協(xié)同操作的優(yōu)勢，而且也綜合處理了其它信息源的數(shù)據(jù)來提高整個傳感器系統(tǒng)的智能化。

后融合算法：

1、每個傳感器各自獨立處理生成的目標數(shù)據(jù)。

2、每個傳感器都有自己獨立的感知，比如激光雷達有激光雷達的感知，攝像頭有攝像頭的感知，毫米波雷達也會做出自己的感知。

3、當(dāng)所有傳感器完成目標數(shù)據(jù)生成后，再由主處理器進行數(shù)據(jù)融合。

前融合算法：

1、只有一個感知的算法。對融合后的多維綜合數(shù)據(jù)進行感知。

2、在原始層把數(shù)據(jù)都融合在一起，融合好的數(shù)據(jù)就好比是一個Super傳感器，而且這個傳感器不僅有能力可以看到紅外線，還有能力可以看到攝像頭或者RGB，也有能力看到LiDAR的三維信息，就好比是一雙超級眼睛。在這雙超級眼睛上面，開發(fā)自己的感知算法，最后會輸出一個結(jié)果層的物體。

多傳感器融合常用方法：

（1）加權(quán)平均法

信號級融合方法最簡單直觀的方法是加權(quán)平均法，將一組傳感器提供的冗余信息進行加權(quán)平均，結(jié)果作為融合值。該方法是一種直接對數(shù)據(jù)源進行操作的方法。

（2）卡爾曼濾波法

主要用于融合低層次實時動態(tài)多傳感器冗余數(shù)據(jù)。該方法用測量模型的統(tǒng)計特性遞推，決定統(tǒng)計意義下的最優(yōu)融合和數(shù)據(jù)估計。如果系統(tǒng)具有線性動力學(xué)模型，且系統(tǒng)與傳感器的誤差符合高斯白噪聲模型，則卡爾曼濾波將為融合數(shù)據(jù)提供唯一統(tǒng)計意義下的最優(yōu)估計。

卡爾曼濾波的遞推特性使系統(tǒng)處理無需大量的數(shù)據(jù)存儲和計算。但是采用單一的卡爾曼濾波器對多傳感器組合系統(tǒng)進行數(shù)據(jù)統(tǒng)計時，存在很多嚴重問題，例如：① 在組合信息大量冗余情況下，計算量將以濾波器維數(shù)的三次方劇增，實時性難以滿足。② 傳感器子系統(tǒng)的增加使故障概率增加，在某一系統(tǒng)出現(xiàn)故障而沒有來得及被檢測出時，故障會污染整個系統(tǒng)，使可靠性降低。

（3）多貝葉斯估計法

將每一個傳感器作為一個貝葉斯估計，把各單獨物體的關(guān)聯(lián)概率分布合成一個聯(lián)合的后驗概率分布函數(shù)，通過使聯(lián)合分布函數(shù)的似然函數(shù)為最小，提供多傳感器信息的最終融合值，融合信息與環(huán)境的一個先驗?zāi)Ｐ鸵蕴峁┱麄€環(huán)境的一個特征描述。

（4）D-S證據(jù)推理法

該方法是貝葉斯推理的擴充，包含3個基本要點：基本概率賦值函數(shù)、信任函數(shù)和似然函數(shù)。

D-S方法的推理結(jié)構(gòu)是自上而下的，分為三級：第一級為目標合成，其作用是把來自獨立傳感器的觀測結(jié)果合成為一個總的輸出結(jié)果（ID）；第二級為推斷，其作用是獲得傳感器的觀測結(jié)果并進行推斷，將傳感器觀測結(jié)果擴展成目標報告。這種推理的基礎(chǔ)是：一定的傳感器報告以某種可信度在邏輯上會產(chǎn)生可信的某些目標報告；第三級為更新，各傳感器一般都存在隨機誤差，因此在時間上充分獨立地來自同一傳感器的一組連續(xù)報告比任何單一報告更加可靠。所以在推理和多傳感器合成之前，要先組合（更新）傳感器的觀測數(shù)據(jù)。

（5）產(chǎn)生式規(guī)則

采用符號表示目標特征和相應(yīng)傳感器信息之間的聯(lián)系，與每一個規(guī)則相聯(lián)系的置信因子表示它的不確定性程度。當(dāng)在同一個邏輯推理過程中，2個或多個規(guī)則形成一個聯(lián)合規(guī)則時，可以產(chǎn)生融合。應(yīng)用產(chǎn)生式規(guī)則進行融合的主要問題是每個規(guī)則置信因子的定義與系統(tǒng)中其他規(guī)則的置信因子相關(guān)，如果系統(tǒng)中引入新的傳感器，需要加入相應(yīng)的附加規(guī)則。

（6）模糊邏輯推理

模糊邏輯是多值邏輯，通過指定一個0到1之間的實數(shù)表示真實度（相當(dāng)于隱含算子的前提），允許將多個傳感器信息融合過程中的不確定性直接表示在推理過程中。如果采用某種系統(tǒng)化的方法對融合過程中的不確定性進行推理建模，則可以產(chǎn)生一致性模糊推理。

與概率統(tǒng)計方法相比，邏輯推理存在許多優(yōu)點，它在一定程度上克服了概率論所面臨的問題，對信息的表示和處理更加接近人類的思維方式，一般比較適合于在高層次上的應(yīng)用（如決策）。但是邏輯推理本身還不夠成熟和系統(tǒng)化。此外由于邏輯推理對信息的描述存在很多的主觀因素，所以信息的表示和處理缺乏客觀性。

模糊集合理論對于數(shù)據(jù)融合的實際價值在于它外延到模糊邏輯，模糊邏輯是一種多值邏輯，隸屬度可視為一個數(shù)據(jù)真值的不精確表示。在MSF過程中，存在的不確定性可以直接用模糊邏輯表示，然后使用多值邏輯推理，根據(jù)模糊集合理論的各種演算對各種命題進行合并，進而實現(xiàn)數(shù)據(jù)融合。

（7）人工神經(jīng)網(wǎng)絡(luò)法

神經(jīng)網(wǎng)絡(luò)具有很強的容錯性以及自學(xué)習(xí)、自組織及自適應(yīng)能力，能夠模擬復(fù)雜的非線性映射。神經(jīng)網(wǎng)絡(luò)的這些特性和強大的非線性處理能力，恰好滿足多傳感器數(shù)據(jù)融合技術(shù)處理的要求。在多傳感器系統(tǒng)中，各信息源所提供的環(huán)境信息都具有一定程度的不確定性，對這些不確定信息的融合過程實際上是一個不確定性推理過程。神經(jīng)網(wǎng)絡(luò)根據(jù)當(dāng)前系統(tǒng)所接受的樣本相似性確定分類標準，這種確定方法主要表現(xiàn)在網(wǎng)絡(luò)的權(quán)值分布上，同時可以采用學(xué)習(xí)算法來獲取知識，得到不確定性推理機制。利用神經(jīng)網(wǎng)絡(luò)的信號處理能力和自動推理功能，即實現(xiàn)了多傳感器數(shù)據(jù)融合。

多傳感器融合層次（級別）

在多傳感器信息融合中，按其在融合系統(tǒng)中信息處理的抽象程度可分為三個層次：數(shù)據(jù)級融合、特征級融合和決策級融合；

1）數(shù)據(jù)級融合：

——?也稱為像素級融合，屬于底層數(shù)據(jù)融合；將多個傳感器的原始觀測數(shù)據(jù)(raw data)直接進行融合，然后再從融合數(shù)據(jù)中提取特征向量進行判斷識別；

——?數(shù)據(jù)級融合要求多個傳感器是同質(zhì)的（傳感器觀測的是同一物理量），否則需要進行尺度校準。

——?數(shù)據(jù)級融合不存在數(shù)據(jù)丟失的問題，得到的結(jié)果也作為準確；但是計算量大，對系統(tǒng)通信帶寬要求較高；

多傳感器數(shù)據(jù)級融合基本原理示意圖

2）特征級融合

屬于中間層次級融合，先從每個傳感器提供的原始觀測數(shù)據(jù)中提取代表性的特征，再把這些特征融合成單一的特征向量；其中選擇合適的特征進行融合是關(guān)鍵；特征信息包括邊緣、方向、速度、形狀等。

特征層融合可劃分為兩大類：目標狀態(tài)融合、目標特性融合。

目標狀態(tài)融合：主要應(yīng)用于多傳感器的目標跟蹤領(lǐng)域；融合系統(tǒng)首先對傳感器數(shù)據(jù)進行預(yù)處理以完成數(shù)據(jù)配準，在數(shù)據(jù)配準之后，融合處理主要實現(xiàn)參數(shù)關(guān)聯(lián)和狀態(tài)估計。

目標特性融合：就是特征層聯(lián)合識別，它的實質(zhì)就是模式識別問題；在融合前必須先對特征進行關(guān)聯(lián)處理，再對特征矢量分類成有意義的組合；

在融合的三個層次中，特征層融合技術(shù)發(fā)展較為完善，并且由于在特征層已建立了一整套的行之有效的特征關(guān)聯(lián)技術(shù)，可以保證融合信息的一致性；此級別融合對計算量和通信帶寬要求相對降低，但由于部分數(shù)據(jù)的舍棄使其準確性也有所下降。

多傳感器特征級融合基本原理示意圖

3）決策級融合

—— 屬于高層次級融合，是對數(shù)據(jù)高層次級的抽象，輸出是一個聯(lián)合決策結(jié)果，在理論上這個聯(lián)合決策應(yīng)比任何單傳感器決策更精確或更明確；

—— 決策層融合在信息處理方面具有很高的靈活性，系統(tǒng)對信息傳輸帶寬要求很低，能有效地融合反映環(huán)境或目標各個側(cè)面的不同類型信息，而且可以處理非同步信息；

—— 由于環(huán)境和目標的時變動態(tài)特性、先驗知識獲取的困難、知識庫的巨量特性、面向?qū)ο蟮南到y(tǒng)設(shè)計要求等，決策層融合理論與技術(shù)的發(fā)展仍受到一定的限制；

多傳感器決策級融合基本原理示意圖

多傳感器融合的體系結(jié)構(gòu)

根據(jù)對原始數(shù)據(jù)處理方法的不同，多傳感器信息融合系統(tǒng)的體系結(jié)構(gòu)可分為三種：集中式、分布式和混合式。

1）集中式?— 將各傳感器獲得的原始數(shù)據(jù)直接送到中央處理器進行融合處理，可以實現(xiàn)實時融合；

集中式體系結(jié)構(gòu)示意圖

優(yōu)點：

a、結(jié)構(gòu)簡單，其數(shù)據(jù)處理的精度高，算法靈活，融合速度快；

缺點：

a、各傳感器的流向是由低層向融合中心單向流動，各傳感器之間缺乏必要的聯(lián)系；

b、中央處理器計算和通信負擔(dān)過重，系統(tǒng)容錯性差，系統(tǒng)可靠性較低；

2）分布式?— 先對各個獨立傳感器所獲得的原始數(shù)據(jù)進行局部處理，然后再將結(jié)果送入中央處理器進行融合處理來獲得最終的結(jié)果；

分布式體系結(jié)構(gòu)示意圖

優(yōu)點：

a、每個傳感器都具有估計全局信息的能力，任何一種傳感器失效都不會導(dǎo)致系統(tǒng)崩潰，系統(tǒng)可靠性和容錯性高；

b、對通信帶寬要求低，計算速度快，可靠性和延續(xù)性好；

缺點：

a、傳感器模塊需要具備應(yīng)用處理器，這樣的話自身的體積將更大，功耗也就更高；

b、中央處理器只能獲取各個傳感器經(jīng)過處理后的對象數(shù)據(jù)，而無法訪問原始數(shù)據(jù)；因此，想要“放大”感興趣的區(qū)域?qū)⒑茈y實現(xiàn)；

3）混合式?— 集中式和分布式的混合應(yīng)用，即部分傳感器采用集中式融合方式，剩余的傳感器采用分布式融合方式；

混合式體系結(jié)構(gòu)示意圖

特點：

a、兼顧了集中式融合和分布式的優(yōu)點，穩(wěn)定性強，且具有較強的使用能力；

b、對通信帶寬和計算能力要求較高。

融合的先決條件

1）運動補償

a、ego motion 自身運動補償

即考慮傳感器在采集過程中的某一時間戳內(nèi)，由于車輛自身的運動，采集的對象會在該時間戳內(nèi)發(fā)生相對位移變化；

例如：以激光雷達為例，采集一圈需要0.1s，在這0.1s內(nèi)，車身本身會發(fā)生一定的位移，如果不考慮車輛本身位移的情況，檢測出來的目標位置就會產(chǎn)生較大誤差；

b、motion from others 來自于其他目標的運動補償

即考慮傳感器在采集過程中的某一時間戳內(nèi)，運動物體由于自身運動會產(chǎn)生相對位移變化；

2）時間同步

通過統(tǒng)一的主機給各個傳感器提供基準時間，各傳感器根據(jù)已經(jīng)校準后的各自時間為各自獨立采集的數(shù)據(jù)加上時間戳信息，以做到所有傳感器時間戳同步；但由于各個傳感器各自采集周期相互獨立，無法保證同一時刻采集相同的信息。

以GPS時間戳為基準的時間同步方法示意圖

在很多自動駕駛車輛的傳感器中，大部分支持GPS時間戳的時間同步方法；

3）空間同步

將不同傳感器坐標系的測量值轉(zhuǎn)換到同一個坐標系中；

—— 傳感器標定是自動駕駛的基本需求，良好的標定是多傳感器融合的基礎(chǔ), 自動駕駛車輛上的多個/多種傳感器之間的坐標關(guān)系是需要確定的。

—— 外參是決定傳感器和外部某個坐標系的轉(zhuǎn)換關(guān)系，比如姿態(tài)參數(shù)。

例如：攝像機和雷達的融合，需要建立精確的雷達坐標系、三維世界坐標系、攝像機坐標系、圖像坐標系和像素坐標系之間的坐標轉(zhuǎn)換關(guān)系；

激光雷達和相機聯(lián)合標定示意圖

多傳感器融合基本思路示例

1）毫米波雷達和攝像頭數(shù)據(jù)融合基本思路

—— 這兩種傳感器相融合，多數(shù)情況下都是以攝像頭數(shù)據(jù)為主，毫米波雷達作為輔助；

—— 將毫米波雷達返回的目標點投影到圖像上，圍繞該點并結(jié)合先驗知識，生成一個矩形的感興趣區(qū)域，然后我們只對該區(qū)域內(nèi)進行目標檢測。

—— 他們?nèi)诤系膬?yōu)點是可以迅速地排除大量不會有目標的區(qū)域，極大地提高識別速度。

2）攝像頭和激光雷達數(shù)據(jù)融合基本思路

—— 障礙物的檢測可以使用激光雷達進行物體聚類，但是對于較遠物體過于稀疏的激光線數(shù)聚類的效果較差，因此利用視覺圖像信息進行目標檢測，進而獲取障礙物的位置，同時視覺還可以給出障礙物類別信息；

—— 融合的關(guān)鍵是需要將攝像頭和激光雷達進行聯(lián)合標定，獲取兩者坐標系的空間轉(zhuǎn)換關(guān)系；可以通過標定的方式，把激光雷達投射到圖像的坐標系中，建立圖像的像素點，和激光雷達投影后的點之間做匹配，然后通過某種優(yōu)化方程，來解決匹配問題；

—— 激光雷達可以得到目標的3D 數(shù)據(jù)（x, y , z)，通過標定參數(shù)，以及相機本身的內(nèi)參，可以把激光雷達的3D點投射到圖像上，圖像上的某些像素就會獲得激光雷達的深度信息，然后便可以做基于圖像的分割或者深度學(xué)習(xí)模型；

—— 融合過程中的時候，因為兩者視場角的不同，可能會造成噪點或者漏點；

相機和激光雷達融合效果示意圖

3）激光雷達和毫米波雷達融合的基本思路（待完善）

激光雷達和毫米波雷達融合效果示意圖

4）相機、毫米波雷達和激光雷達三者融合的基本思路（待完善）

本文僅做學(xué)術(shù)分享，如有侵權(quán)，請聯(lián)系刪文。

—THE END—

多傳感器融合--基礎(chǔ)知識