干貨！大廠AIGC訓(xùn)練師面試題（附答案）
共 4449字，需瀏覽 9分鐘
·
2024-05-15 19:50
隨著AI 技術(shù)的飛速發(fā)展，AIGC（Artificial Intelligence Generated Content，生成式人工智能）在美術(shù)與設(shè)計(jì)領(lǐng)域有了重大突破。各類優(yōu)質(zhì)的AI 繪畫作品與平臺(tái)逐漸出現(xiàn)在大眾的視野中，各大廠商也逐漸將AI 繪畫引進(jìn)自己的工作流程中，AIGC訓(xùn)練師的崗位也應(yīng)運(yùn)而生。
本文解密某大廠的AIGC訓(xùn)練師崗位的真實(shí)面試題，并附上解析，幫助大家更好的做好面試準(zhǔn)備。
本文作者陳然，《AI魔法繪畫：用Stable Diffusion挑戰(zhàn)無限可能》一書作者，本文轉(zhuǎn)自作者推友：https://d.design/space/3000000048219
一定要在C站（Civitai，全球最大AI繪畫模型分享平臺(tái)）上傳一些成熟的模型作品，各種分類都要有，包括但不限于角色，畫風(fēng)，圖標(biāo)，場(chǎng)景，室內(nèi)，攝影等等。下載量低不要緊，但一定要成熟。數(shù)量級(jí)至少要達(dá)到500到1000張圖。沒作品很難收到面試邀請(qǐng)。
一線城市12K到30K。其他城市6到12K。(大概率會(huì)996，請(qǐng)做好心理準(zhǔn)備)
問：請(qǐng)簡(jiǎn)述一下你的模型訓(xùn)練流程。
千萬(wàn)不要直接回答：“我扔一堆圖進(jìn)去煉就完了”肯定翻車。標(biāo)準(zhǔn)答案如下:
1，與需求方對(duì)接，進(jìn)行需求分析，并明確訓(xùn)練主體。
2，根據(jù)需求構(gòu)建數(shù)據(jù)集(結(jié)合自己的作品描述)
3，數(shù)據(jù)標(biāo)注，采用機(jī)器標(biāo)注＋人工優(yōu)化的方式
4，使用少量數(shù)據(jù)進(jìn)行訓(xùn)練測(cè)試
5，根據(jù)測(cè)試結(jié)果，去有需求則調(diào)整數(shù)據(jù)集和標(biāo)注，沒問題的話再開始正式訓(xùn)練
6，根據(jù)不同的設(shè)備環(huán)境和訓(xùn)練主體規(guī)劃訓(xùn)練參數(shù)
7，開始訓(xùn)練
8，模型測(cè)試，首先搭配不同的大量提示詞測(cè)試，然后搭配不同的其他模型測(cè)試，最終選出性能最好的
9，模型上線，搜集使用反饋，繼續(xù)迭代
問：說下你的調(diào)參經(jīng)驗(yàn)。
以sdxl，4090顯卡舉例，lora訓(xùn)練學(xué)習(xí)率需要相對(duì)調(diào)大，0.0012左右，批次可以開到5。大模型的學(xué)習(xí)率需要調(diào)小，4e-7時(shí)大約會(huì)在27000步時(shí)收斂。
(可以自行補(bǔ)充，選自己熟悉的有把握的說)
問：模型如何分層訓(xùn)練或者分層調(diào)優(yōu)?
按《AI魔法繪畫》書上那個(gè)分層的表來說就可以了，這個(gè)要背一下。
問：instant prompt和class promt有什么用?
class prompt指的是訓(xùn)練主體的類別，畫風(fēng)就填寫style，人物就填寫boy,girl等。
instant prompt需要填寫對(duì)訓(xùn)練主體的描述。例如如果想訓(xùn)練一個(gè)自定義的水墨畫畫風(fēng)，則填寫inkpainting，這樣在訓(xùn)練的過程中，就會(huì)調(diào)用底模型中默認(rèn)的水墨畫畫風(fēng)，在默認(rèn)的基礎(chǔ)上，訓(xùn)練你的自定義的水墨畫畫風(fēng)。填寫之前需要把這個(gè)單詞用底模型測(cè)一下，看看底模型有沒有，如果沒有則可以填寫相似的。假設(shè)底模型里沒有inkpainting，則可以填寫相似的watercolor painting。
問：假設(shè)在訓(xùn)練室內(nèi)模型時(shí)，有一個(gè)大理石地板，死活煉不出來，怎么辦?
首先調(diào)整標(biāo)注。使用一個(gè)單詞來標(biāo)注你的這個(gè)大理石，這個(gè)單詞首先需要在底模型中測(cè)一下，看底模型里有沒有，如果沒有，換成相似的，然后用少量數(shù)據(jù)進(jìn)行反復(fù)測(cè)試。
問：如何把不同的圖標(biāo)煉進(jìn)一個(gè)模型?
分類標(biāo)注即可，每一種類型的圖標(biāo)設(shè)置一個(gè)唯一的標(biāo)識(shí)符，這樣就不會(huì)污染了，可以參考我C站發(fā)布的圖標(biāo)訓(xùn)練文檔和數(shù)據(jù)集。
問：煉室內(nèi)模型時(shí)如何解決變形?
假設(shè)桌子發(fā)生變形，變形的原因是圖片素材中有不同類別的桌子，但是機(jī)器識(shí)別的都是desk，這樣就導(dǎo)致不同類別的桌子互相干擾。這時(shí)需要對(duì)不同的桌子用不同的單詞進(jìn)行標(biāo)注即可。
問：lcm，turbo等新技術(shù)
多關(guān)注，多折騰即可。
問：是否訓(xùn)練過大語(yǔ)言模型，controlnet模型等？
這個(gè)屬于加分項(xiàng)，煉過更好，沒煉過就直接說，沒關(guān)系。
問：你在訓(xùn)練模型時(shí)遇到過什么困難?怎么解決的?
結(jié)合實(shí)際情況說，無標(biāo)準(zhǔn)答案。
lora模型的分層設(shè)計(jì)包括17層，其中第一層是開關(guān)層，其余16層分別控制著LoRA模型中的人物背景、姿態(tài)和服裝等元素。
這種分層控制的好處在于，當(dāng)需要對(duì)某些元素進(jìn)行調(diào)整時(shí)，如更改服裝，可以通過簡(jiǎn)單地將相應(yīng)層的權(quán)重調(diào)整為0，而不需要對(duì)整個(gè)模型進(jìn)行大幅調(diào)整。此外，當(dāng)使用多個(gè)LoRA模型進(jìn)行疊加時(shí)，這種分層設(shè)計(jì)也能帶來更好的效果，因?yàn)樗试S用戶分別控制不同方面的細(xì)節(jié)，如服飾、背景和臉部等，而不會(huì)因?yàn)槟Ｐ偷寞B加導(dǎo)致人物形象的崩潰。這種靈活性使得LoRA模型在應(yīng)用時(shí)更加高效和精確。
基于Stable Diffusion的進(jìn)階教程
課程上新價(jià)：39元，掃碼享折扣
課程內(nèi)容涵蓋了以下方面：
如何用蒙版功能快速制作電商圖
如何處理電商圖的光影
語(yǔ)義分割在電商圖中的應(yīng)用
涂鴉功能在電商圖中的應(yīng)用
商品lora模型訓(xùn)練流程
模特?fù)Q裝
本課程由《AI魔法繪畫》作者陳然主講，B站科普UP主，某教育培訓(xùn)公司課程研發(fā)負(fù)責(zé)人，天貓首屆AIGC品牌數(shù)藏共創(chuàng)大賽“AI創(chuàng)形紀(jì)”特約創(chuàng)作者，擁有豐富的互聯(lián)網(wǎng)及教育從業(yè)經(jīng)驗(yàn)。在B站發(fā)布的“AI繪畫魔法課堂”等視頻廣受網(wǎng)友好評(píng)。
通過學(xué)習(xí)本課程，您將能夠掌握AI繪畫在電商領(lǐng)域的實(shí)戰(zhàn)應(yīng)用技巧，提升您的設(shè)計(jì)能力，為您的電商業(yè)務(wù)增添新的亮點(diǎn)。無論您是設(shè)計(jì)師、電商從業(yè)者還是對(duì)AI繪畫感興趣的學(xué)員，本課程都將為您提供寶貴的學(xué)習(xí)機(jī)會(huì)。
▼ 搭配學(xué)習(xí)▼
發(fā)布：王一
審核：陳歆懿
如果喜歡本文
歡迎 在看丨留言丨分享至朋友圈 三連
<
PAST · 往期回顧
>