智能時(shí)尚：人工智能在時(shí)尚&服裝行業(yè)的應(yīng)用綜述 | 580+參考文獻(xiàn)
點(diǎn)擊下方“AI算法與圖像處理”，一起進(jìn)步！
重磅干貨，第一時(shí)間送達(dá)
大家好，我是阿潘。
隨著元宇宙的概念大火，智能時(shí)尚的或許能在未來(lái)創(chuàng)造出巨大的價(jià)值！今天分享一篇相關(guān)的綜述，參考文獻(xiàn)包含 580 篇！（本文總共 1萬(wàn)多字，希望能對(duì)大家有所幫助，翻譯整理不易！求轉(zhuǎn)發(fā)）
論文：https://arxiv.org/abs/2111.00905
標(biāo)題：Smart Fashion: A Review of AI Applications in the Fashion & Apparel Industry
摘要
時(shí)裝業(yè)正處在一場(chǎng)前所未有的變革的邊緣。機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺(jué)和人工智能（AI）在時(shí)尚應(yīng)用中的應(yīng)用為這個(gè)行業(yè)帶來(lái)了許多新的機(jī)遇。本文對(duì)這一問(wèn)題進(jìn)行了全面的調(diào)查，將580多篇相關(guān)文章分為22項(xiàng)定義明確的時(shí)尚相關(guān)任務(wù)。這種結(jié)構(gòu)化的基于任務(wù)的多標(biāo)簽時(shí)尚研究文章分類(lèi)為研究人員提供了明確的研究方向，方便了他們?cè)L問(wèn)相關(guān)研究，同時(shí)提高了研究的可視性。對(duì)于每項(xiàng)任務(wù)，都會(huì)提供一個(gè)時(shí)間圖表，以分析歷年的進(jìn)度。此外，我們還提供了86個(gè)公共fashion數(shù)據(jù)集的列表，以及建議的應(yīng)用程序列表和每個(gè)應(yīng)用程序的附加信息。
關(guān)鍵詞：Smart Fashion, Fashion Applications, Neural Networks, Recommender Systems, Fashion Try-on
1、簡(jiǎn)介
人工智能為時(shí)裝業(yè)的零售商和顧客帶來(lái)了許多好處[1]。這就是為什么每年都有越來(lái)越多的研究致力于人工智能在時(shí)尚行業(yè)中的應(yīng)用，人工智能很快就會(huì)將這個(gè)行業(yè)重塑為智能時(shí)尚。隨著這一領(lǐng)域研究的不斷深入，這棵巨樹(shù)的枝葉越來(lái)越多。這是一個(gè)龐大的等級(jí)制度，有時(shí)很難發(fā)現(xiàn)一些新穎的想法，并剝奪他們應(yīng)得的關(guān)注。這就是為什么，與以前的評(píng)論文章不同，我們嘗試包括盡可能多的例子，而不僅僅是最先進(jìn)的方法。希望這將增加每個(gè)領(lǐng)域研究的可見(jiàn)性，從而在未來(lái)做出更好、更準(zhǔn)確的貢獻(xiàn)。
多篇調(diào)研和綜述文章涵蓋了智能時(shí)尚的最新發(fā)展。我們可以將這些研究分為兩組。其中大多數(shù)屬于第一組，這是基于應(yīng)用程序的調(diào)查，側(cè)重于單一應(yīng)用程序，涵蓋該特定應(yīng)用程序的最新技術(shù)和新方法。我們將分別介紹這些研究，每項(xiàng)研究都屬于相應(yīng)的類(lèi)別。第二組中的調(diào)查文章重點(diǎn)更廣，涵蓋不同的應(yīng)用。2014年，[2]對(duì)造型任務(wù)的三個(gè)組成部分進(jìn)行了簡(jiǎn)短研究。2018年，[3]討論了計(jì)算時(shí)尚以及時(shí)尚與多媒體技術(shù)的碰撞，提供了時(shí)尚行業(yè)的公司名單以及他們目前正在開(kāi)發(fā)的應(yīng)用程序。2019年，[4]還回顧了以前的研究，重點(diǎn)是三組時(shí)裝應(yīng)用，以及數(shù)據(jù)集和行業(yè)應(yīng)用。2020年，有[5]，一項(xiàng)文獻(xiàn)計(jì)量調(diào)查，以及[6]，對(duì)每種應(yīng)用中最先進(jìn)的方法進(jìn)行了精彩的回顧。最后，最新的工作是2021年的綜合調(diào)查，包括4個(gè)主要主題和12個(gè)子類(lèi)別的232項(xiàng)重要研究
我們的重點(diǎn)不僅是該領(lǐng)域的重要工作，而且還包括任何相關(guān)貢獻(xiàn)。通過(guò)這種方式，我們可以關(guān)注潛在的看不見(jiàn)的潛力，也可以更廣泛地分析智能時(shí)尚多年來(lái)的發(fā)展。我們選擇了2010-2020年發(fā)表的文章（一些早期/后期的例外），這導(dǎo)致了總共586項(xiàng)相關(guān)研究的數(shù)量。我們使用多標(biāo)簽方案將所有這些文章分類(lèi)為多個(gè)應(yīng)用程序類(lèi)和子類(lèi)，這意味著一篇文章可能有助于各種應(yīng)用程序。這些類(lèi)別如圖1所示。只有當(dāng)文章明確報(bào)告了應(yīng)用程序的相關(guān)結(jié)果時(shí)，我們才將每個(gè)文章分配給應(yīng)用程序類(lèi)別。
本文的主要貢獻(xiàn)：
我們對(duì)人工智能在時(shí)尚和服裝行業(yè)中的應(yīng)用進(jìn)行了調(diào)查，我們的工作范圍是迄今為止最全面研究的兩倍多。
我們介紹了超過(guò)22種應(yīng)用，并使用多標(biāo)簽方案分別列出了每種應(yīng)用的所有相關(guān)研究。
我們列出了86個(gè)公共時(shí)尚數(shù)據(jù)集，以及每個(gè)數(shù)據(jù)集的結(jié)構(gòu)信息和建議應(yīng)用列表。據(jù)我們所知，這是最全面的公共時(shí)尚數(shù)據(jù)集列表，我們相信它可以幫助未來(lái)的許多研究人員作為快速參考。
每個(gè)應(yīng)用類(lèi)別都有2010-2020年文章的時(shí)間圖表。因此，它有助于分別分析每個(gè)類(lèi)別的研究進(jìn)展速度。
我們還提供了類(lèi)別的共現(xiàn)表，總結(jié)了這些應(yīng)用程序之間的關(guān)系。
2、應(yīng)用
在這里，我們遵循一個(gè)基于應(yīng)用程序的文章分組。按照[3]的分類(lèi)法，[6]將這些應(yīng)用程序分為三類(lèi)：1）Low-Level fashion識(shí)別、2）Mid-Level fashion理解和3）High-Level fashion應(yīng)用。我們?cè)谶@里提供的分類(lèi)是基于每項(xiàng)研究的主要重點(diǎn)。因此，請(qǐng)記住，這些類(lèi)別之間存在重疊。Higher-level 應(yīng)用程序可能包括 mid-level 或多個(gè)low-level 應(yīng)用程序，例如，試用(try-on)應(yīng)用程序可能還包括解析、標(biāo)記、分類(lèi)、檢測(cè)等。每個(gè)應(yīng)用程序都有一個(gè)文章摘要表。由于篇幅限制，我們以單行格式介紹文章，使用第一作者的姓名、出版日期、技術(shù)關(guān)鍵詞、結(jié)果（如有可能）。這些技術(shù)關(guān)鍵詞試圖總結(jié)使用的方法，與文章的關(guān)鍵詞不同。它們提供了關(guān)于每一篇文章的豐富、緊湊和簡(jiǎn)化的信息。此外，我們使用“應(yīng)用程序注釋”在每篇文章中添加簡(jiǎn)短而直接的應(yīng)用程序細(xì)節(jié)。
表格的性質(zhì)要求我們使用縮寫(xiě)形式的單詞，包括準(zhǔn)確度（Acc）、精密度（Prec）、召回度（Rec）、平均值（m）、真陽(yáng)性（TP）、人類(lèi)研究/評(píng)分（HS）和其他常用技術(shù)詞匯。研究人員在查閱這些表格時(shí)應(yīng)注意，不同的研究在不同的情況下對(duì)不同的數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。我們還使用特定的術(shù)語(yǔ)來(lái)談?wù)摱喾N時(shí)尚形象類(lèi)型；圖2介紹了這些術(shù)語(yǔ)的一些示例。“商品”和“標(biāo)題”是指一件帶有白色或中性背景的時(shí)尚商品的專(zhuān)業(yè)目錄圖像，“模特”是指在標(biāo)準(zhǔn)條件下穿著一件或多件時(shí)尚商品的模特的全身/半身圖像。“商店”圖片是具有中性背景的專(zhuān)業(yè)圖片，可能是“商品”、“模型”或兩者的組合。“街頭”圖片是工作室外的高質(zhì)量圖片，通常集中在一個(gè)專(zhuān)業(yè)模特身上。他們有更復(fù)雜的背景，不同的照明條件，以及由于各種標(biāo)準(zhǔn)姿勢(shì)而造成的輕微遮擋。另一方面，“野生”照片則完全沒(méi)有限制。它們是用戶創(chuàng)建的業(yè)余版本的街道照片，有時(shí)遮擋嚴(yán)重，光線不好，裁剪不當(dāng)，整體質(zhì)量差。
2.1?特征提取
特征提取目的是學(xué)習(xí)時(shí)裝項(xiàng)目的數(shù)學(xué)表征。這是一項(xiàng)?low-level 但基本的任務(wù)。由于它在許多應(yīng)用程序中使用，特別是在項(xiàng)目相似性方面，我們?cè)诒竟?jié)中僅報(bào)告一些示例。特征提取可以通過(guò)經(jīng)典方法、手工特征或深度學(xué)習(xí)方法來(lái)完成。
2.1.1 Classic Methods
在人工神經(jīng)網(wǎng)絡(luò)興起之前，經(jīng)典的特征提取方法和圖像處理技術(shù)得到了廣泛的應(yīng)用。這些方法的示例包括顏色直方圖、局部二值模式（LBP）、方向梯度直方圖（HOG）、尺度不變特征變換（SIFT）等。
我們可以使用這些方法中的任何一種或它們的組合。例如，2009年[10]使用LBP、HOG和顏色直方圖作為其智能鏡子時(shí)尚推薦工具。Yang等人[11]將HOG、SIFT、DCT和顏色直方圖結(jié)合起來(lái)用于監(jiān)控視頻中的服裝識(shí)別。在使用神經(jīng)網(wǎng)絡(luò)之前，我們還可以使用這些圖像處理技術(shù)對(duì)圖像進(jìn)行預(yù)處理，例如[12]在2019年，對(duì)基于深度CNN的初始圖像輸入應(yīng)用了Haar級(jí)聯(lián)和高斯差分（DoG），以構(gòu)建推薦。
2.1.2 Deep Learning Methods
隨著人工神經(jīng)網(wǎng)絡(luò)和深度卷積神經(jīng)網(wǎng)絡(luò)的出現(xiàn)，研究人員將注意力轉(zhuǎn)移到這些網(wǎng)絡(luò)上，用于表征學(xué)習(xí)任務(wù)。這些網(wǎng)絡(luò)很快取代了特征工程的高強(qiáng)度任務(wù)。深度學(xué)習(xí)方法還允許我們學(xué)習(xí)細(xì)粒度特征。例如：Fashion DNA[13]、128單精度浮點(diǎn)中的Fashion Style[14]、Style2Vec[15]和[16]利用弱注釋的Fashion圖像。
2.2 Classification
分類(lèi)是系統(tǒng)地將項(xiàng)目分組的任務(wù)。我們進(jìn)一步將此任務(wù)分為1）分類(lèi)和2）屬性識(shí)別。術(shù)語(yǔ)可能看起來(lái)有點(diǎn)混亂，但我們需要將這兩者分開(kāi)。雖然它們可能有一些重疊，但它們是兩個(gè)具有不同復(fù)雜程度的不同問(wèn)題。
2.2.1 Categorization
本文使用術(shù)語(yǔ)分類(lèi)來(lái)暗示一種基于共享的質(zhì)量和規(guī)則集的分類(lèi)形式。分類(lèi)是對(duì)時(shí)裝項(xiàng)目的主觀分組。這項(xiàng)任務(wù)的重點(diǎn)是僅預(yù)測(cè)時(shí)裝項(xiàng)目的主要類(lèi)別（襯衫、連衣裙、褲子等）。由于每個(gè)項(xiàng)目只能存在于一組類(lèi)別中的一個(gè)類(lèi)中，因此此任務(wù)在大多數(shù)情況下都是單標(biāo)簽預(yù)測(cè)。
2.2.2 Attribute Recognition
屬性是每個(gè)項(xiàng)目的特征和客觀質(zhì)量。每個(gè)項(xiàng)目可以有多個(gè)屬性；這就是為什么它通常是一個(gè)多標(biāo)簽任務(wù)。例如，衣服（類(lèi)別）可以具有顏色、圖案、材質(zhì)、價(jià)格、紋理、樣式等屬性。屬性識(shí)別是比分類(lèi)更廣泛的任務(wù)；因此，它也可以預(yù)測(cè)類(lèi)別。
相關(guān)的論文整理表格已省略
2.3 Detection
檢測(cè)任務(wù)旨在精確定位目標(biāo)在圖像中的位置，并用于許多更高級(jí)別的應(yīng)用。例如，它可能是時(shí)裝項(xiàng)目的位置，也可能只是圖片中信息豐富的區(qū)域。因此，我們將此任務(wù)分為三個(gè)子類(lèi)別：1）物品檢測(cè)，2）解析或分割，以及3）關(guān)鍵點(diǎn)檢測(cè)。
2.3.1 Item Detection
物品檢測(cè)任務(wù)側(cè)重于在圖像/視頻中查找時(shí)尚物品，通常輸出一個(gè)或多個(gè)包含該物品的邊界框
2.3.2 Parsing (Segmentation)
時(shí)裝解析是服裝項(xiàng)目的語(yǔ)義分割，每個(gè)分割都有一個(gè)類(lèi)別標(biāo)簽。物品檢測(cè)和解析之間的主要區(qū)別在于前者僅在對(duì)象周?chē)梢粋€(gè)邊界框。相比之下，在解析過(guò)程中，我們?cè)谙袼丶?jí)別為時(shí)尚物品添加標(biāo)簽，這是一項(xiàng)復(fù)雜得多的任務(wù)，尤其是由于人體姿勢(shì)、遮擋、變形等因素而導(dǎo)致的時(shí)尚項(xiàng)目。
2.3.3 Landmark Detection
landmark detection于2016年首次推出[9]，旨在發(fā)現(xiàn)時(shí)尚對(duì)象的關(guān)鍵點(diǎn)。例如，上身對(duì)象的關(guān)鍵點(diǎn)可以是左/右領(lǐng)端、左/右袖端等。這些關(guān)鍵點(diǎn)還隱式包含邊界框，并且證明了關(guān)鍵點(diǎn)池可以在某些應(yīng)用中提高性能
2.4 Virtual Try-on
虛擬試穿是一個(gè)非常活躍的領(lǐng)域，主要是因?yàn)樗谠诰€時(shí)尚零售業(yè)中的潛在應(yīng)用，以及在服裝店中使用的離線智能軟件包。我們將虛擬試穿分為五個(gè)子類(lèi)別：1）基于圖像的試穿，2）2D建模，3）3D建模，4）尺寸和配合，以及5）魔鏡。請(qǐng)記住，基于圖像的試穿任務(wù)也是二維的，但它不會(huì)更改輸入圖像，只是更改衣服項(xiàng)目。
2.4.1 Image-Based Try-On
基于圖像的試穿系統(tǒng)通常將一張圖像作為輸入，并根據(jù)用戶需要更改照片中的時(shí)尚項(xiàng)目。更改僅對(duì)輸入圖像的特定區(qū)域生效，其余區(qū)域保持不變。還有一些化妝品轉(zhuǎn)移和發(fā)型建議的應(yīng)用，我們只報(bào)告了幾個(gè)例子，在本文中沒(méi)有完全介紹。基于圖像的試穿系統(tǒng)通常接受兩個(gè)輸入，一個(gè)參考圖像，一個(gè)目標(biāo)裝備，并將裝備傳輸?shù)絽⒖紙D像。在表6中，我們嘗試在“應(yīng)用說(shuō)明”部分使用雙關(guān)鍵字（目標(biāo)參考）報(bào)告此傳輸?shù)拇_切類(lèi)型。這些系統(tǒng)將“目標(biāo)”的質(zhì)量傳遞給“參考”圖像；例如，模型設(shè)計(jì)將服裝從一個(gè)人體模型圖像傳輸?shù)搅硪粋€(gè)存在人體模型的圖像，而標(biāo)題模型系統(tǒng)需要所需服裝的店內(nèi)目錄圖像作為目標(biāo)。研究使用不同的評(píng)估指標(biāo)，如初始評(píng)分（IS）、人類(lèi)評(píng)分（HS）、結(jié)構(gòu)相似性（SSIM）和各種其他指標(biāo)
2.4.2 2D Modeling
二維建模也是基于圖像的，有一個(gè)主要區(qū)別。這里，輸入圖像完全改變，輸出是原始圖像的新二維模型。2D建模可以是從不同角度合成相同圖像、具有不同姿勢(shì)的人的姿勢(shì)引導(dǎo)圖像合成（稱(chēng)為姿勢(shì)變換），或者甚至是輸入圖像的圖形/卡通模型或化身。我們標(biāo)記為2D建模的大多數(shù)系統(tǒng)都是姿勢(shì)引導(dǎo)的試用系統(tǒng)。還有一些姿勢(shì)轉(zhuǎn)換系統(tǒng)可能不關(guān)注時(shí)尚；然而，他們提出的方法可以在2D建模試驗(yàn)系統(tǒng)中實(shí)現(xiàn)。
2.4.3 3D Modeling
3D建模應(yīng)用包括試穿和3D服裝建模。一些研究側(cè)重于三維人體掃描和服裝的幾何或紋理建模，而另一些研究側(cè)重于從二維輸入圖像進(jìn)行三維建模和物理模擬。服裝人體的3D建模是一個(gè)非常活躍的領(lǐng)域，不僅出于時(shí)尚目的，部分原因還在于其在大型電影和動(dòng)畫(huà)行業(yè)以及游戲圖形中的應(yīng)用。我們盡可能在表8的“應(yīng)用程序注釋”列中使用雙關(guān)鍵字（輸入-輸出）對(duì)系統(tǒng)進(jìn)行分類(lèi)。例如，“Image-3D Body”顯示了從2D圖像生成3D Body模型的系統(tǒng)。
2.4.4 Size & Fit
選擇合適的衣服尺寸和最佳合身度是現(xiàn)實(shí)世界中試衣間存在的主要原因之一。技術(shù)需要為在線服裝店的這一問(wèn)題提供解決方案。研究將女性對(duì)服裝合身的感知與她們心目中的身體形象聯(lián)系起來(lái)，結(jié)果表明，選擇合適的服裝有助于提高自信，彌補(bǔ)感知的缺陷[314]。因此，我們需要系統(tǒng)根據(jù)用戶的體型和尺寸預(yù)測(cè)不同個(gè)人的服裝尺寸和時(shí)尚物品的合身度。主要方法之一是三維人體掃描。數(shù)字化技術(shù)可以測(cè)量特定的身體部位，甚至可以在幾秒鐘內(nèi)生成全身測(cè)量。因此，我們也可以考慮SEC 2.4.3中的各種3D建模方法。
2.4.5 Magic Mirror
它們于2009年以智能鏡像[10]的名義引入，作為檢索系統(tǒng)和推薦者。2016年，又以魔鏡[330]的名義，這一次是作為一名虛擬時(shí)尚顧問(wèn)。事實(shí)上，魔鏡可以遠(yuǎn)不止這些。它們可以是所有時(shí)尚應(yīng)用的最終實(shí)現(xiàn)，包括分析、推薦、試穿、合成等，并與交互式系統(tǒng)和增強(qiáng)現(xiàn)實(shí)相結(jié)合。我們?cè)谶@里的重點(diǎn)是解釋系統(tǒng)架構(gòu)的研究，并為實(shí)現(xiàn)魔鏡所需的硬件和方案提供一些幫助。
2.5 Fashion Synthesis
Fashion synthesis強(qiáng)調(diào)從零開(kāi)始合成新的時(shí)尚項(xiàng)目圖像和設(shè)計(jì)。請(qǐng)記住，試用應(yīng)用程序也會(huì)合成圖像，但用途不同。在試穿應(yīng)用中，重點(diǎn)是照片中的人的存在，而在時(shí)裝合成中，主要重點(diǎn)是創(chuàng)造新穎和看不見(jiàn)的時(shí)裝項(xiàng)目。關(guān)于消費(fèi)者對(duì)GAN生成的時(shí)尚圖像的反應(yīng)的綜合研究見(jiàn)[333]。存在各種方法，使用不同的輸入來(lái)引導(dǎo)系統(tǒng)生成最終輸出。我們嘗試在表11的“應(yīng)用程序注釋”列中報(bào)告每個(gè)系統(tǒng)的輸出，或者盡可能使用雙關(guān)鍵字（輸入-輸出）。例如，“模型項(xiàng)”顯示系統(tǒng)使用人體模型獲取一個(gè)時(shí)裝圖像，并生成時(shí)裝文章的目錄圖像。請(qǐng)記住，圖像合成并不是所有合成系統(tǒng)的最終目標(biāo)，有些系統(tǒng)試圖生成設(shè)計(jì)和想法，從而實(shí)現(xiàn)時(shí)裝產(chǎn)品的物理生產(chǎn)
2.6 Fashion Retrieval
此應(yīng)用程序致力于在圖像數(shù)據(jù)庫(kù)中搜索和檢索時(shí)裝項(xiàng)目。關(guān)鍵詞搜索不能總是描述時(shí)尚的復(fù)雜性和針對(duì)用戶的需求；因此，我們使用基于內(nèi)容的檢索來(lái)捕獲每個(gè)項(xiàng)目的視覺(jué)特征。在本節(jié)中，檢索是指“精確匹配”檢索。請(qǐng)注意，“相似項(xiàng)”檢索也存在，但它與推薦系統(tǒng)有很大的重疊，我們將在下一節(jié)介紹它。檢索的最終目標(biāo)是在項(xiàng)目數(shù)據(jù)庫(kù)中為時(shí)尚項(xiàng)目查詢輸入找到精確匹配。這些系統(tǒng)分為三個(gè)子類(lèi)：1）特定領(lǐng)域、2）跨領(lǐng)域和3）屬性操作。
2.6.1 Domain-Specific Retrieval
這些系統(tǒng)被訓(xùn)練來(lái)檢索特定圖像域上的確切項(xiàng)目，這意味著輸入和輸出屬于同一個(gè)域。例如，在網(wǎng)上商店中檢索具有不同角度或模型姿勢(shì)的服裝項(xiàng)目圖像（查看不變服裝檢索/店內(nèi)檢索），或從不同的CCTV攝像機(jī)圖像檢索具有相同服裝的人。
2.6.2 Cross-Domain Retrieval
與特定領(lǐng)域檢索不同，這些系統(tǒng)彌補(bǔ)了不同領(lǐng)域之間的差距。一個(gè)例子是草圖到圖像檢索。另一個(gè)重要的例子是街到店檢索，它使用用戶照片在網(wǎng)上商店中查找確切的商品，并直接將街道照片連接到商店商品。此任務(wù)通常比其特定領(lǐng)域的對(duì)應(yīng)任務(wù)更復(fù)雜，并且需要特定的訓(xùn)練數(shù)據(jù)或方法。多模式檢索系統(tǒng)也做同樣的事情，混合各種輸入類(lèi)型在第二個(gè)領(lǐng)域進(jìn)行搜索，例如文本到圖像檢索系統(tǒng)和搜索引擎。
2.6.3 Retrieval with Attribute Manipulation
有時(shí)我們需要為我們的項(xiàng)目匹配，但需要做一些更改，這就是屬性編輯的時(shí)候。這些系統(tǒng)根據(jù)用戶的規(guī)范更改查詢項(xiàng)的某些屬性，然后檢索項(xiàng)匹配項(xiàng)。例如，他們可以檢索短袖襯衫的長(zhǎng)袖版本或藍(lán)色連衣裙的紅色版本。也就是說(shuō)，項(xiàng)目的所有屬性都保持不變，直到我們專(zhuān)門(mén)更改其中任何一個(gè)。另一個(gè)例子是使用相對(duì)屬性的交互式搜索，要求系統(tǒng)提供“更舒適”的鞋子或“不太正式”的衣服。
2.7 Recommender Systems
推薦系統(tǒng)根據(jù)相似性、風(fēng)格、顏色、用戶偏好和更多不同的方案來(lái)推薦時(shí)尚商品。推薦人系統(tǒng)研究是一個(gè)非常活躍的研究領(lǐng)域，推薦人已經(jīng)在許多網(wǎng)上商店使用，包括亞馬遜、谷歌購(gòu)物和Shop It To Me。這些系統(tǒng)不僅有利于在線時(shí)尚零售店，而且也有利于實(shí)體店[418]。我們將這些系統(tǒng)分為四個(gè)子類(lèi)：1）單品推薦、2）款式或服裝推薦、3）個(gè)性化推薦和4）時(shí)尚兼容性。我們還可以在Sec中使用特定于屬性的檢索系統(tǒng)。2.6 提到屬性引導(dǎo)推薦系統(tǒng)。
存在各種類(lèi)型的推薦系統(tǒng)，包括協(xié)同過(guò)濾（CF）、基于內(nèi)容（CB）、基于知識(shí)（KB）和混合系統(tǒng)。不同的系統(tǒng)使用購(gòu)買(mǎi)歷史、圖像、評(píng)論、用戶評(píng)級(jí)、點(diǎn)擊、時(shí)態(tài)信息和各種其他輸入數(shù)據(jù)來(lái)生成推薦列表。表15提供了基于深度學(xué)習(xí)的推薦系統(tǒng)的調(diào)查研究列表
必須提到的是，純基于內(nèi)容的推薦系統(tǒng)與檢索系統(tǒng)有很大的重疊。研究人員應(yīng)該意識(shí)到，盡管這是兩個(gè)不同的應(yīng)用，目的不同，但這兩個(gè)系統(tǒng)的基本原理可能非常相似。在推薦系統(tǒng)中，我們不需要精確匹配，然而，獲取精確匹配是檢索系統(tǒng)的目標(biāo)。解決這兩個(gè)問(wèn)題的方法有時(shí)是相同的，只是如何使用它們的角度問(wèn)題。這兩個(gè)應(yīng)用程序都利用了項(xiàng)目之間的相似性；因此，推薦系統(tǒng)可能會(huì)發(fā)現(xiàn)兩個(gè)項(xiàng)目100%相似，并實(shí)際檢索該項(xiàng)目。另一方面，我們可以使用檢索系統(tǒng)列出項(xiàng)目，發(fā)出精確匹配，并使用其余的作為建議。因此，2.6 也是一個(gè)好主意，了解更多不同的檢索方法。
2.7.1 Single-Item Recommenders
這些系統(tǒng)只推薦一種時(shí)尚產(chǎn)品，可能是襯衫、連衣裙、鞋子等。它們可以是基于內(nèi)容的推薦系統(tǒng)，根據(jù)圖像的視覺(jué)特征或語(yǔ)義屬性檢索類(lèi)似的文章。系統(tǒng)輸入可以是查詢圖像或文本，輸出是推薦時(shí)裝項(xiàng)目的排序列表。需要記住的一點(diǎn)是，這些推薦人只適用于服裝類(lèi)別。如果輸入是襯衫的圖像，則輸出列表將是相同的，而不是來(lái)自其他類(lèi)別。表16列出了這些推薦系統(tǒng)。有些系統(tǒng)在每張全身照片中只針對(duì)一篇時(shí)尚文章；另一方面，其他系統(tǒng)檢測(cè)每個(gè)圖像中的多個(gè)片段，并為每個(gè)項(xiàng)目提供單獨(dú)的建議列表。在最后一列中，我們?yōu)檫@些系統(tǒng)分配了“Multiple”關(guān)鍵字。我們還使用單個(gè)關(guān)鍵字（商品、型號(hào)、商店等）或雙關(guān)鍵字（輸入域搜索域）報(bào)告每個(gè)工作域，以滿足跨域系統(tǒng)的需要
2.7.2 Outfit Style Recommenders
風(fēng)格推薦者不會(huì)關(guān)注某一個(gè)項(xiàng)目，而是關(guān)注圖像中的所有服裝項(xiàng)目，作為一種風(fēng)格和時(shí)尚。此任務(wù)不應(yīng)與單品風(fēng)格推薦程序混淆，因?yàn)榕c單品版本不同，這些系統(tǒng)輸出整個(gè)裝備的單個(gè)圖像。其他版本可能會(huì)輸出多個(gè)組成一整套裝備的物品圖像；這些系統(tǒng)將在第節(jié)中討論。2.7.3.
2.7.3 Fashion Compatibility
這些系統(tǒng)可以預(yù)測(cè)不同的時(shí)裝是否搭配在一起。這個(gè)應(yīng)用程序也被稱(chēng)為時(shí)裝搭配，服裝匹配，混合和匹配，并填補(bǔ)了空白問(wèn)題。它還可以被看作是一個(gè)跨類(lèi)別的項(xiàng)目推薦器，例如，它推薦一個(gè)與牛仔褲的查詢圖像兼容的鞋子列表。這些推薦系統(tǒng)連接了不同的時(shí)尚商品類(lèi)別；他們建議補(bǔ)充項(xiàng)目，而不是推薦替代品。這一類(lèi)中存在著各種制度；有些人只需要一個(gè)輸入項(xiàng)就可以推薦多個(gè)缺少的物品并形成一套兼容的服裝；另一方面，其他人把幾個(gè)項(xiàng)目作為輸入，并推薦一個(gè)缺少的項(xiàng)目，使整套服裝被稱(chēng)為“填寫(xiě)空白（FITB）”任務(wù)。在不同的結(jié)構(gòu)中，推薦輸出文章的數(shù)量也不同；如果需要，我們會(huì)在表18的“應(yīng)用說(shuō)明”列中使用關(guān)鍵字來(lái)報(bào)告這一點(diǎn)。例如，“頂部/底部”表示雙項(xiàng)目系統(tǒng)，“裝備”表示三個(gè)或更多預(yù)定義輸出，“多個(gè)”表示具有不同輸入/輸出長(zhǎng)度的其他系統(tǒng)。
2.7.4 Personalized Recommenders
這些系統(tǒng)主要關(guān)注用戶的偏好，以建立他們的推薦列表。值得注意的是，所有推薦系統(tǒng)都會(huì)隱式地使用一些數(shù)據(jù)來(lái)個(gè)性化其推薦，但本節(jié)將專(zhuān)門(mén)介紹針對(duì)用戶偏好或用戶歷史的策略，以便為每個(gè)用戶定制獨(dú)特的結(jié)果。
2.8 Fashion Analysis & Trends
一些研究側(cè)重于時(shí)尚分析，深入探討了時(shí)尚性、美學(xué)、流行性、對(duì)時(shí)尚和美的感知的地理分析、時(shí)裝秀對(duì)現(xiàn)實(shí)街頭時(shí)尚的影響以及其他相關(guān)主題。人工智能系統(tǒng)還可以極大地幫助進(jìn)行時(shí)尚趨勢(shì)預(yù)測(cè)（如顏色趨勢(shì)、季節(jié)趨勢(shì)、流行度和區(qū)域趨勢(shì)）、銷(xiāo)售/需求預(yù)測(cè)和各種時(shí)尚數(shù)據(jù)分析
2.9 Production, Quality & Inspection
計(jì)算機(jī)、機(jī)器學(xué)習(xí)和人工智能系統(tǒng)可以塑造服裝和紡織品生產(chǎn)，引入新的、復(fù)雜的、更優(yōu)化的和環(huán)境友好的時(shí)尚產(chǎn)品。這些系統(tǒng)也用于工廠的服裝生產(chǎn)線，以檢查質(zhì)量和檢查材料。雖然這些應(yīng)用不在我們的關(guān)注范圍之內(nèi)，并且由于人工智能的工業(yè)應(yīng)用領(lǐng)域非常廣泛，本文沒(méi)有完全涵蓋它們，但本節(jié)在表21中給出了一些示例。更多信息，請(qǐng)參考[555]，這是2011年發(fā)布的一項(xiàng)專(zhuān)門(mén)針對(duì)這一問(wèn)題的綜述研究。這項(xiàng)研究提到了之前的95篇研究文章，重點(diǎn)關(guān)注AI在服裝行業(yè)各個(gè)領(lǐng)域的應(yīng)用，包括設(shè)計(jì)、制造、零售和供應(yīng)鏈管理。
2.10 Miscellaneous
這里，我們列出了ML和AI的一些與時(shí)尚相關(guān)的鼓舞人心的應(yīng)用，包括時(shí)尚字幕（自然語(yǔ)言描述、評(píng)論或?qū)r(shí)尚圖像的反饋生成）、服裝分類(lèi)（使用人形或機(jī)器人自動(dòng)分類(lèi)、折疊/展開(kāi)和處理服裝物品），以及其他超出我們其他類(lèi)別領(lǐng)域的其他雜項(xiàng)應(yīng)用程序。表22列出了這些物品。
3、數(shù)據(jù)集
由于大多數(shù)時(shí)尚數(shù)據(jù)集都是多任務(wù)的，并且可以根據(jù)其結(jié)構(gòu)用于各種時(shí)尚應(yīng)用程序，因此我們認(rèn)為在每個(gè)部分單獨(dú)報(bào)告這些數(shù)據(jù)會(huì)產(chǎn)生誤導(dǎo)。因此，我們將本節(jié)專(zhuān)門(mén)介紹可用的時(shí)尚數(shù)據(jù)集。我們報(bào)告每個(gè)數(shù)據(jù)集的“建議應(yīng)用”，這意味著應(yīng)用不限于表23中提到的應(yīng)用；每個(gè)數(shù)據(jù)集的主要應(yīng)用程序首先出現(xiàn)，然后是其他應(yīng)用程序。盡管所有研究都使用一些數(shù)據(jù)集，但其中許多研究不會(huì)公布數(shù)據(jù)。即使是那些承諾這樣做的人，由于版權(quán)或其他問(wèn)題，許多數(shù)據(jù)集從未進(jìn)入互聯(lián)網(wǎng)。因此，與以前的調(diào)查研究不同，我們只報(bào)告易于訪問(wèn)和公開(kāi)發(fā)布的數(shù)據(jù)集，因?yàn)樗鼈儗?duì)該領(lǐng)域做出了重大貢獻(xiàn)并幫助了研究人員。
4、討論以及未來(lái)
計(jì)算機(jī)視覺(jué)和人工智能在時(shí)裝行業(yè)的應(yīng)用速度不可避免地很快，但還不夠快。盡管在過(guò)去十年中，這一領(lǐng)域的研究有了顯著的增長(zhǎng)（見(jiàn)圖77），但該領(lǐng)域的巨大規(guī)模，包括各種應(yīng)用，以及由于新冠病毒-19大流行的情況，全世界對(duì)在線時(shí)尚零售店的需求增加，表明仍有許多工作需要做。
在這一過(guò)程中仍然存在著多重挑戰(zhàn)。一個(gè)主要的挑戰(zhàn)是缺乏來(lái)自不同來(lái)源的干凈、大規(guī)模的時(shí)裝數(shù)據(jù)集。幸運(yùn)的是，隨著手邊的海量數(shù)據(jù)和各種不斷增長(zhǎng)的社交媒體網(wǎng)絡(luò)，數(shù)據(jù)的缺乏不再是一個(gè)問(wèn)題。我們需要一個(gè)足夠好的注釋方案來(lái)利用這些數(shù)據(jù)。這一領(lǐng)域的許多工作都使用為自己的需要量身定制的小型數(shù)據(jù)集，甚至其中許多數(shù)據(jù)集從未發(fā)布過(guò)。雖然我們?cè)诒敬握{(diào)查中介紹了86個(gè)不同的公共數(shù)據(jù)集，但應(yīng)該注意的是，幾乎沒(méi)有一個(gè)是統(tǒng)一的、通用的時(shí)尚數(shù)據(jù)集。它們要么規(guī)模小、任務(wù)敏感，要么來(lái)源單一或很少。較大的數(shù)據(jù)集通常用于一般任務(wù)，而更具體的數(shù)據(jù)集通常非常小；因此，將所有數(shù)據(jù)都放在一個(gè)數(shù)據(jù)集中是非常棒的。實(shí)際上，為某些特定任務(wù)找到合適的、統(tǒng)一標(biāo)記的數(shù)據(jù)集是很困難的
另一個(gè)問(wèn)題是缺乏針對(duì)某些特定時(shí)尚任務(wù)（例如，推薦、合成和兼容性）的評(píng)估技術(shù)。很難定義客觀指標(biāo)來(lái)反映許多時(shí)尚概念，如美、新奇、兼容性、時(shí)尚性等等。因此，許多任務(wù)仍然使用主觀評(píng)估，這可能是不準(zhǔn)確和有偏見(jiàn)的。盡管可能會(huì)引入一個(gè)在同一方向上起作用的指標(biāo)（例如，使用共同購(gòu)買(mǎi)作為兼容性的標(biāo)志），但為許多任務(wù)定義一個(gè)結(jié)構(gòu)良好的客觀指標(biāo)仍然是一個(gè)尚未解決的問(wèn)題。
“智能時(shí)尚準(zhǔn)備好了嗎？”這是我們需要回答的最后一個(gè)問(wèn)題。這些系統(tǒng)的性能仍然是時(shí)裝公司關(guān)注的問(wèn)題，因?yàn)樵S多這些任務(wù)仍然無(wú)法與訓(xùn)練有素的人工評(píng)估員競(jìng)爭(zhēng)。然而，這不應(yīng)阻止他們使用這些技術(shù)。基于我們?cè)谌绱硕痰臅r(shí)間內(nèi)所目睹的顯著進(jìn)步，智能時(shí)尚將在不久的將來(lái)達(dá)到頂峰。世界各地的許多研究人員正在為該領(lǐng)域做出貢獻(xiàn)，不僅要提高此類(lèi)系統(tǒng)的性能，還要提高其計(jì)算效率和成本效益，因?yàn)檫@些功能在此類(lèi)系統(tǒng)的可用性以及在移動(dòng)電話和其他智能設(shè)備上的實(shí)現(xiàn)方面起著至關(guān)重要的作用。
5、結(jié)論
多年來(lái)的所有研究導(dǎo)致了這些神奇的智能時(shí)尚技術(shù)的誕生，而它們要實(shí)現(xiàn)真正的潛力還有很長(zhǎng)的路要走。領(lǐng)先的時(shí)尚行業(yè)公司開(kāi)始看到智能時(shí)尚的許多優(yōu)勢(shì)，并將注意力集中在這一研究領(lǐng)域；因此，這個(gè)領(lǐng)域現(xiàn)在是如此之大，僅僅進(jìn)行習(xí)慣性的關(guān)鍵字搜索可能不足以訪問(wèn)相關(guān)的研究文章。這一事實(shí)突出了這一統(tǒng)一的與時(shí)尚相關(guān)的任務(wù)型調(diào)查的重要性，以吸引新研究人員對(duì)這一主題的關(guān)注，并為他們指出正確的研究方向和來(lái)源。這個(gè)領(lǐng)域變得越來(lái)越龐大，我們將580多篇文章分為多個(gè)基于任務(wù)的組，還有更多。觀察到的趨勢(shì)和增長(zhǎng)速度保證，我們很快將看到許多重大改進(jìn)，縮小人機(jī)差距。
交流群
歡迎加入公眾號(hào)讀者群一起和同行交流，目前有美顏、三維視覺(jué)、計(jì)算攝影、檢測(cè)、分割、識(shí)別、醫(yī)學(xué)影像、GAN、算法競(jìng)賽等微信群
個(gè)人微信（如果沒(méi)有備注不拉群！） 請(qǐng)注明：地區(qū)+學(xué)校/企業(yè)+研究方向+昵稱(chēng)
下載1：何愷明頂會(huì)分享
在「AI算法與圖像處理」公眾號(hào)后臺(tái)回復(fù)：何愷明，即可下載。總共有6份PDF，涉及 ResNet、Mask RCNN等經(jīng)典工作的總結(jié)分析
下載2：終身受益的編程指南：Google編程風(fēng)格指南
在「AI算法與圖像處理」公眾號(hào)后臺(tái)回復(fù)：c++，即可下載。歷經(jīng)十年考驗(yàn)，最權(quán)威的編程規(guī)范！
下載3 CVPR2021 在「AI算法與圖像處理」公眾號(hào)后臺(tái)回復(fù)：CVPR，即可下載1467篇CVPR?2020論文 和 CVPR 2021 最新論文
