這幾個項(xiàng)目，我看傻了！
大家好，我是 Jack。
今天聊聊技術(shù)，給大家推薦幾個最近看到的開源項(xiàng)目。
STIT
STIT 算法，我在之前B站的一期視頻介紹過。
我們再回顧下效果：
原視頻的“赫敏”在微笑著說話，變換表情為憤怒，甚至改變年齡，變成一張幾歲的小孩臉。
再看一組：
除了真人，動漫的表情也可以變化：
算法如約2月14日，情人節(jié)開源。
項(xiàng)目地址：
https://github.com/rotemtzaban/STIT
人臉屬性編輯算法，現(xiàn)在大多數(shù)都是基于 StyleGAN 做的。
思想就是，在隱空間（latent space）控制隱藏特征（latent code）來控制圖片的屬性。
簡單點(diǎn)解釋就是，一張人臉圖片，是由多維特征組成的，比如年齡、性別、光照、膚色、發(fā)質(zhì)等。
為了更好得對數(shù)據(jù)進(jìn)行分類或生成，需要對數(shù)據(jù)的特征進(jìn)行表示，但是數(shù)據(jù)有很多特征。
這些特征之間相互關(guān)聯(lián)，耦合性較高，導(dǎo)致模型很難弄清楚它們之間的關(guān)聯(lián)，使得學(xué)習(xí)效率低下，因此需要尋找到這些表面特征之下隱藏的深層次的關(guān)系，將這些關(guān)系進(jìn)行解耦，得到的隱藏特征，即latent code。
不過這個思路是針對圖片的，STIT 算法針對的是視頻處理，考慮了幀間信息。
STIT 算法的處理流程主要分為六步：
輸入視頻首先被分割成幀，每幀中的人臉都被裁剪下來并對齊；
使用預(yù)訓(xùn)練的e4e編碼器，將每張已裁剪的人臉反演到預(yù)訓(xùn)練的StyleGAN2的潛空間中；
在所有并行幀中使用PTI（最新提出的一種視頻人臉編輯方法）對生成器進(jìn)行微調(diào)，糾正錯誤，恢復(fù)全局一致性；
所有幀通過使用固定的方向和步長，線性地操縱其軸心潛碼（pivot latent codes）進(jìn)行相應(yīng)編輯；
再次微調(diào)生成器，將背景和編輯過的人臉“縫合”在一起；
反轉(zhuǎn)對齊步驟，并將修改后的人臉粘貼回視頻中。
更詳細(xì)的原理，可以直接看論文：
https://arxiv.org/pdf/2201.08361.pdf
算法運(yùn)行很簡單，第一步安裝底層依賴庫：
pip?install?Pillow?imageio?imageio-ffmpeg?dlib?face-alignment?opencv-python?click?wandb?tqdm?scipy?matplotlib?lpips?
STIT 依賴于 StyleCLIP ，直接安裝即可。
pip?install?git+https://github.com/openai/CLIP.git
然后下載預(yù)訓(xùn)練模型，解壓到工程根目錄即可。
https://drive.google.com/file/d/1cDvUHPTZQAEWvfiK9C0nDuI9C3Qdgbbp/view
然后通過如下指令，即可運(yùn)行代碼：
python?edit_video.py?--input_folder?/path/to/images_dir?\
?--output_folder?/path/to/experiment_dir?\
?--run_name?RUN_NAME?\
?--edit_name?EDIT_NAME?\
?--edit_range?EDIT_RANGE
具體參數(shù)說明，看項(xiàng)目的 README 吧，有點(diǎn)多。
SAHI
這個算法偏實(shí)際應(yīng)用，一個通用的小目標(biāo)檢測。
這個蠻有用的，在一些檢測場景，太小的物體，很容易漏檢。
SAHI 就是針對這個問題提出的通用解決方案，提出了一個名為切片輔助超推理(SAHI)的開源框架。
該框架為小目標(biāo)檢測提供了一個通用的切片輔助推理和微調(diào)管道。
該技術(shù)是通用的，它可以應(yīng)用在任何可用的目標(biāo)檢測器之上，不需要進(jìn)行任何微調(diào)。
使用 SAHI 可以大幅提升目標(biāo)檢測的 mAP，可以提升 10 個點(diǎn)之多。
目標(biāo)檢測的 trick，值得一試。
項(xiàng)目地址：
https://github.com/obss/sahi
這個項(xiàng)目很全面，有自己的教程、Paper、代碼等，直接看官方的最全面了。
HowToCook
最后再聊個輕松的項(xiàng)目，第一次看到這個項(xiàng)目差點(diǎn)笑噴。
這也是讓我大開眼界的項(xiàng)目，直接看傻，原來還能這樣玩！
熱榜第一：程序員在家做飯指南。
真就項(xiàng)目如其名唄：HowToCook。
不過這個項(xiàng)目和普通菜譜有所不同。
1cm * 1cm，非常嚴(yán)謹(jǐn)，做飯記得帶尺，哈哈。
項(xiàng)目作者是這樣說的：
項(xiàng)目一經(jīng)發(fā)布，好家伙，一堆小伙伴去提交 pr，貢獻(xiàn)者漲到了 90+?名，star 量更是幾天就飆升到了 11.3k。
項(xiàng)目不允許使用“適量”、“少量”等不精準(zhǔn)描述的詞匯。
哈哈，太真實(shí)了。
愛做飯的程序員，不要錯過。
項(xiàng)目地址：
https://github.com/Anduin2017/HowToCook
總結(jié)
本期的內(nèi)容有點(diǎn)多，大家慢慢玩。
我是 Jack，我們下期見！
推薦閱讀
?? ?B 站真會玩！?? ?絕了，被監(jiān)控了！還怎么摸魚？????保姆級教程：硬核圖解Transformer