国模大胆私拍在线,国产免费观看黄色电影,性爱九九视频,久久久久无码精品人妻,黑人操逼,国产卡一卡二高清无码在线,无码三级在线观看,操操操逼逼逼

點(diǎn)擊上方“小白學(xué)視覺”，選擇加"星標(biāo)"或“置頂”

重磅干貨，第一時(shí)間送達(dá)

轉(zhuǎn)自機(jī)器之心

拿起以往的老照片，無一不是灰蒙蒙的。那么有沒有一種方法將這些老照片重?zé)ㄉ鷻C(jī)呢？

近日，弗吉尼亞理工等機(jī)構(gòu)開發(fā)出了一種語境感知分層深度修復(fù)技術(shù)，它利用基于學(xué)習(xí)的修復(fù)模型來迭代地合成新的顏色和深度信息，并借助標(biāo)準(zhǔn)圖形引擎將這些老照片渲染成 3D 照片。

如何讓一張老照片看起來有 3D 效果？

來自弗吉尼亞理工大學(xué)、臺(tái)灣清華大學(xué)和 Facebook 的研究者提出了一種將單個(gè) RGB-D 輸入圖像轉(zhuǎn)換為 3D 照片的方法，利用多層表示合成新視圖，且新視圖包含原始視圖中遮擋區(qū)域的 hallucinated 顏色和深度結(jié)構(gòu)。

具體而言，研究人員使用具有顯式像素連通性的分層深度圖像（Layered Depth Image，LDI）作為基礎(chǔ)表示，并提出了一種基于學(xué)習(xí)（learning-based）的修復(fù)模型，該模型以空間語境感知的方式，為遮擋區(qū)域迭代地合成局部新的顏色和深度信息。在使用標(biāo)準(zhǔn)圖形引擎的情況下，該方法可以高效地渲染生成 3D 照片。

研究者在多種具有挑戰(zhàn)性的日常場(chǎng)景中驗(yàn)證了此方法的有效性，與當(dāng)前 SOTA 方法相比，該方法生成結(jié)果的偽影更少。

與 SOTA 方法對(duì)比的效果圖

老照片也能有 3D 效果！

除了論文以外，該研究還提供了大量示例、代碼，還有可以試用的 Colab 環(huán)境，感興趣的讀者可以試試效果。

論文地址：https://arxiv.org/pdf/2004.04727.pdf?
項(xiàng)目地址：?https://github.com/vt-vl-lab/3d-photo-inpainting?
網(wǎng)站地址：?https://shihmengli.github.io/3D-Photo-Inpainting/?
Colab 地址：https://colab.research.google.com/drive/1706ToQrkIZshRSJSHvZ1RuCiM__YX3Bz?

這么優(yōu)秀的 3D 效果是怎么實(shí)現(xiàn)的？

該研究提出的方法以 RGB-D 圖像作為輸入，并生成分層深度圖像（LDI），并修復(fù)輸入圖像中被遮擋區(qū)域的顏色和深度。

該按照以下步驟執(zhí)行：

圖像預(yù)處理：首先初始化 LDI，LDI 使用單個(gè)層，且完全 4-connected。在預(yù)處理過程中，檢測(cè)主要的深度不連續(xù)區(qū)域，并將它們分為簡(jiǎn)單的連接深度邊緣（connected depth edge）。這構(gòu)成了主算法的基礎(chǔ)，該算法的核心部分式迭代地選擇深度邊緣進(jìn)行修復(fù)；
語境和合成區(qū)域：斷開邊緣上的 LDI 像素，只修復(fù)邊緣的背景像素。具體做法是從邊緣的「已知」側(cè)提取局部語境區(qū)域，在「未知」側(cè)生成合成區(qū)域；
語境感知的顏色和深度修復(fù)：合成區(qū)域是新像素的連續(xù) 2D 區(qū)域，研究者使用基于學(xué)習(xí)的方法從給定語境中為其生成顏色和深度值；
形成 3D 紋理網(wǎng)格：修復(fù)完成后，將合成像素合并到 LDI 像素。
該方法按照以上流程迭代進(jìn)行，直到所有深度邊緣都得到處理。

接下來，我們來看每一個(gè)步驟的具體做法。

圖像預(yù)處理

下圖 2 展示了圖像預(yù)處理的過程。首先對(duì)顏色和深度輸入進(jìn)行預(yù)處理 (a-b)，然后使用雙邊中值濾波器銳化輸入深度圖 (c-d)，接下來使用視差閾值檢測(cè)不連續(xù)區(qū)域 (e)，清除錯(cuò)誤的閾值響應(yīng)并將不連續(xù)區(qū)域組合成為連接深度圖 (f)。這些連接深度圖正是修復(fù)過程的基礎(chǔ)。

圖像預(yù)處理

語境和合成區(qū)域

該研究提出的修復(fù)算法每次都在之前計(jì)算好的一個(gè)深度邊緣上執(zhí)行。給定一個(gè)深度邊緣（下圖 3a），修復(fù)算法的目的是在相鄰的遮擋區(qū)域中合成新的顏色和深度信息。

首先將不連續(xù)區(qū)域中的 LDI 像素?cái)嚅_（圖 3b）。斷開的像素（即失去鄰居的像素）被稱為輪廓像素（silhouette pixel）。圖 3b 中顯示了前景輪廓（綠色）和背景輪廓（紅色），我們只需要修復(fù)背景輪廓。

接下來生成合成區(qū)域（即新像素的連續(xù)區(qū)域，圖 3c 中的紅色像素），提取語境區(qū)域（圖 3c 中的藍(lán)色像素）。最后，將合成像素并入 LDI 像素中。

圖 3：LDI 修復(fù)算法的概念圖示。(a) 初始 LDI 是全連接的，圖中灰色區(qū)域是深度邊緣（不連續(xù)區(qū)域）。(b) 首先將深度邊緣上的 LDI 像素連接斷開，形成前景輪廓（綠色）和背景輪廓（紅色）。(c) 對(duì)于背景輪廓，提取語境區(qū)域（藍(lán)色），生成合成區(qū)域（紅色）。(d) 將合成像素并入 LDI 中。

具體示例參見下圖 4：

圖 4：語境 / 合成區(qū)域。圖 2 (f) 中三個(gè)連接深度邊緣示例（黑色）的語境區(qū)域（藍(lán)色）和合成區(qū)域（紅色）。

此外，由于檢測(cè)到的深度邊緣可能無法與遮擋區(qū)域的邊界很好地對(duì)齊，因此研究者將合成區(qū)域擴(kuò)大了 5 個(gè)像素，這有助于減少修補(bǔ)區(qū)域中的偽影。

圖 5：處理不完美的深度邊緣。

語境感知的顏色和深度修復(fù)

如何合成顏色和深度值？一種最直接的方法是分別修復(fù)彩色圖像和深度圖。但隨之產(chǎn)生的問題是，已修復(fù)的深度圖可能無法與已修復(fù)的顏色非常合適地匹配。為了解決此問題，研究者設(shè)計(jì)了類似于 [43, 67] 的顏色和深度修復(fù)網(wǎng)絡(luò)，同時(shí)將修復(fù)任務(wù)分解為三個(gè)子網(wǎng)絡(luò)：邊緣修復(fù)網(wǎng)絡(luò)、顏色修復(fù)網(wǎng)絡(luò)和深度修復(fù)網(wǎng)絡(luò)（下圖 6）。

圖 6：語境感知的顏色和深度修復(fù)。

給定顏色、深度、提取以及連接的深度邊緣作為輸入，隨機(jī)選擇其中一個(gè)邊作為子問題。首先使用邊緣修復(fù)網(wǎng)絡(luò)修復(fù)合成區(qū)域中（紅色區(qū)域）的深度邊緣，然后將修復(fù)后的深度邊緣與語境顏色連接在一起，并應(yīng)用顏色修復(fù)網(wǎng)絡(luò)生成用以修復(fù)的顏色。類似地，將修復(fù)后的深度邊緣與語境深度連接起來，并應(yīng)用深度修復(fù)網(wǎng)絡(luò)生成修復(fù)深度。

多層修復(fù)

在深度復(fù)雜（deep-complex）的場(chǎng)景中，僅應(yīng)用一次該研究提出的修復(fù)模型肯定不夠，因?yàn)樾迯?fù)深度邊緣所導(dǎo)致的不連續(xù)區(qū)域使得我們依然可以看見空白（hole）。所以研究者多次使用修復(fù)模型，直到不再生成修復(fù)深度邊緣為止。

下圖 8 展示了多次應(yīng)用修復(fù)模型的效果。其中，應(yīng)用一次修復(fù)模型填補(bǔ)了缺失的層。但是從圖 8b 的觀察視角中，我們依然可以看到一些空白區(qū)域。而應(yīng)用兩次修復(fù)模型可以徹底消除這些偽影。

圖 8：多層修復(fù)

轉(zhuǎn)換為 3D 紋理網(wǎng)格

研究者將所有的修復(fù)深度和顏色值集成返回原始 LDI 中，從而創(chuàng)建了 3D 紋理網(wǎng)格。在渲染過程中使用網(wǎng)格表示能夠快速渲染新的視圖，而且無需對(duì)每個(gè)視圖執(zhí)行推理步驟。因此，在邊緣設(shè)備上使用標(biāo)準(zhǔn)圖形引擎即可輕松地對(duì)該研究方法生成的 3D 表示進(jìn)行渲染。

實(shí)驗(yàn)結(jié)果

該研究進(jìn)行了大量實(shí)驗(yàn)，對(duì)新方法的效果做了視覺對(duì)比、量化對(duì)比，同時(shí)還做了控制變量實(shí)驗(yàn)。

視覺對(duì)比

首先，我們來看新方法與當(dāng)前最優(yōu)的視角合成在視覺效果上的對(duì)比結(jié)果：

圖 9：新方法與基于 MPI 的方法的視覺對(duì)比結(jié)果

從圖中可以看到，該研究提出的新方法能夠修復(fù)原始圖像中被遮擋的區(qū)域，且結(jié)構(gòu)和顏色都很合理。

量化對(duì)比

研究者對(duì)比了不同方法在 RealEstate10K 數(shù)據(jù)集上的量化對(duì)比結(jié)果，如下表 1 所示：

該研究提出的新方法在 SSIM 和 PSNR 兩項(xiàng)指標(biāo)上的性能均具備很強(qiáng)的競(jìng)爭(zhēng)力。此外，新方法的合成視角表現(xiàn)出了更優(yōu)秀的感知質(zhì)量，這一點(diǎn)從 LPIPS 分?jǐn)?shù)上可以看出。

控制變量測(cè)試

研究者從測(cè)試數(shù)據(jù)序列中采樣了 130 個(gè)蹤片，并在全圖和未遮擋區(qū)域上評(píng)估修復(fù)顏色，測(cè)試結(jié)果見下表 2?？梢钥闯觯?/span>該研究提出的邊緣引導(dǎo)的修復(fù)技術(shù)給各項(xiàng)評(píng)估指標(biāo)數(shù)值帶來了微小的提升。

此外，為測(cè)試顏色修復(fù)模型的效果，研究者進(jìn)行了類似的實(shí)驗(yàn)。下表 3 展示了不同方法在全圖和遮擋區(qū)域上的性能結(jié)果：

從上表中可以看出新方法的感知質(zhì)量更好，下圖中的示例也說明了這一點(diǎn)。

圖 11：顏色修復(fù)帶來了更好的視覺質(zhì)量。

在不同深度圖上的效果如何？

研究者在不同方法生成的深度圖上進(jìn)行實(shí)驗(yàn)，結(jié)果表明新方法可以很好地處理不同來源的深度圖。

圖 12：該研究提出的方法可以處理不同來源的深度圖。新視角圖像左上角為深度估計(jì)。

GitHub 介紹

環(huán)境安裝

Linux (已在 Ubuntu 18.04.4 LTS 上測(cè)試)
Anaconda
Python 3.7 (已在 3.7.4 上測(cè)試)
PyTorch 1.4.0 (已在 1.4.0 測(cè)試執(zhí)行)
運(yùn)行以下命令

conda create -n 3DP python=3.7 anacondaconda activate 3DPpip install -r requirements.txtconda install pytorch==1.4.0 torchvision==0.5.0 cudatoolkit==10.1.243 -c pytorch

下載模型權(quán)重

chmod +x download.sh./download.sh

執(zhí)行

將 .jpg 文件 (e.g., test.jpg) 放入 image 文件夾中.

如?image/moon.jpg

運(yùn)行：

python main.py --config argument.yml

通常情況下處理時(shí)間為 2-3 分鐘，具體取決于可用的計(jì)算資源。

將結(jié)果存儲(chǔ)再以下目錄中：

MiDas 估算的對(duì)應(yīng)深度 tu

如?depth/moon.npy

3D 網(wǎng)格

如?mesh/moon.ply

具有放大效果的渲染視頻

如?video/moon_zoom-in.mp4

具有擺動(dòng)效果的渲染 shi'p

如?video/moon_swing.mp4

渲染視頻并進(jìn)行 circle motion

如?video/moon_circle.mp4

下載1：OpenCV-Contrib擴(kuò)展模塊中文版教程

在「小白學(xué)視覺」公眾號(hào)后臺(tái)回復(fù)：擴(kuò)展模塊中文教程，即可下載全網(wǎng)第一份OpenCV擴(kuò)展模塊教程中文版，涵蓋擴(kuò)展模塊安裝、SFM算法、立體視覺、目標(biāo)跟蹤、生物視覺、超分辨率處理等二十多章內(nèi)容。

下載2：Python視覺實(shí)戰(zhàn)項(xiàng)目52講

在「小白學(xué)視覺」公眾號(hào)后臺(tái)回復(fù)：Python視覺實(shí)戰(zhàn)項(xiàng)目，即可下載包括圖像分割、口罩檢測(cè)、車道線檢測(cè)、車輛計(jì)數(shù)、添加眼線、車牌識(shí)別、字符識(shí)別、情緒檢測(cè)、文本內(nèi)容提取、面部識(shí)別等31個(gè)視覺實(shí)戰(zhàn)項(xiàng)目，助力快速學(xué)校計(jì)算機(jī)視覺。

下載3：OpenCV實(shí)戰(zhàn)項(xiàng)目20講

在「小白學(xué)視覺」公眾號(hào)后臺(tái)回復(fù)：OpenCV實(shí)戰(zhàn)項(xiàng)目20講，即可下載含有20個(gè)基于OpenCV實(shí)現(xiàn)20個(gè)實(shí)戰(zhàn)項(xiàng)目，實(shí)現(xiàn)OpenCV學(xué)習(xí)進(jìn)階。

交流群

歡迎加入公眾號(hào)讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動(dòng)駕駛、計(jì)算攝影、檢測(cè)、分割、識(shí)別、醫(yī)學(xué)影像、GAN、算法競(jìng)賽等微信群（以后會(huì)逐漸細(xì)分），請(qǐng)掃描下面微信號(hào)加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三?+?上海交大?+?視覺SLAM“。請(qǐng)按照格式備注，否則不予通過。添加成功后會(huì)根據(jù)研究方向邀請(qǐng)進(jìn)入相關(guān)微信群。請(qǐng)勿在群內(nèi)發(fā)送廣告，否則會(huì)請(qǐng)出群，謝謝理解~

一個(gè)神奇的開源項(xiàng)目：讓照片快速 3D 化！

一個(gè)神奇的開源項(xiàng)目：讓照片快速 3D 化！