鏈接：https://www.zhihu.com/question/540433389
作者：Gordon Lee
https://www.zhihu.com/question/540433389/answer/2549775065
2. MLM: 在領(lǐng)域語料上用mlm進一步預訓練 (Post-training)
3. EFL: 少樣本下，把分類問題轉(zhuǎn)為匹配問題，把輸入構(gòu)造為NSP任務形式.
4. 混合精度fp16: 加快訓練速度，提高訓練精度
5. 多卡ddp訓練的時候，用到梯度累積時，可以使用no_sync減少不必要的梯度同步，加快速度
6. 對于驗證集或者測試集特別大的情況，可以嘗試多卡inference，需要用的就是dist.all_gather，對于非張量的話也可以用all_gather_object
7. PET: 少樣本下，把分類轉(zhuǎn)為mask位置預測，并構(gòu)造verbalizer，參考EACL2021. PET
8. ArcFaceLoss：雙塔句子匹配的loss把NT-Xent loss改成arccos的形式，參考ACL2022. ArcCSE
9. 數(shù)據(jù)增強在zero shot x-lingual transfer：code switch，machine translation..記得最后加一致性loss，參考consistency regularization for cross lingual finetuning
10. SimCSE：繼續(xù)在領(lǐng)域語料上做simcse的預訓練
12. 雙塔遲交互：maxsim操作：query和doc的每個token表征算相似度，取最大相似度再求和。速度和精度都有一個很好的平衡，參考colbert
13. 持續(xù)學習減輕遺忘：EWC方法+一個很強的預訓練模型效果很不錯。就是加一個正則讓重要參數(shù)遺忘不太多，重要性用fisher信息度量。
14. 對抗訓練：FGM，PGD，能提點，就是訓練慢，
15. memory bank增大bsz，雖然我感覺有時候有點雞肋
16. PolyLoss: -logpt + eps * (1-pt) 效果存疑，反正我試了沒啥效果，有人試過效果不錯
作者：羅胤
https://www.zhihu.com/question/540433389/answer/2669605576
比較同意高贊說的，對性能影響最大的其實還是數(shù)據(jù)
上學時也喜歡去了解各種刷分的trick，想著將來在比賽中用，說不定能出奇效，最好能直接一擊制勝。比賽中，這確實有必要，因為比賽數(shù)據(jù)是提供好的，我們所需要做的就是要去探索各種好使的奇技淫巧，甭管什么，能漲分就行了
工作后才發(fā)現(xiàn)實際做業(yè)務的時候最關(guān)心的還是數(shù)據(jù)，性能不好，繼續(xù)標數(shù)據(jù)就行了，要不就業(yè)務方標要不就自己標，真的就有標了那幾十條百來條數(shù)據(jù)后性能大漲的情況。當然這里得說一下，標數(shù)據(jù)也是有章法的，不是什么數(shù)據(jù)都標，基本上的步驟流程都是分析模型bad case的規(guī)律，然后找類似的數(shù)據(jù)來標注。這個過程的最終結(jié)果是選了對于當前模型狀態(tài)來說，最有價值的一批數(shù)據(jù)來進行標注，本質(zhì)上其實就是進行人肉的主動學習。不過我沒去試過一些主流的主動學習方法，不知道好不好用，了解的同學可以回答一下:-)
話說回來，實際業(yè)務中，相對于trick，標數(shù)據(jù)的綜合收益是最大的，因為數(shù)據(jù)本身就是一種珍貴的資源，特別是對于帶標簽數(shù)據(jù)，標數(shù)據(jù)那就是前人栽樹后人乘涼的行為，積累到一定程度也能成為壁壘。而trick的話，一個是不一定好用，然后不一定正交，最后還不一定通用，整體不確定性比較大，回報率還是比較低的，所以不如直接簡單粗暴標數(shù)據(jù) 。
作者：AI高級人工智能
https://www.zhihu.com/question/540433389/answer/2601363270
旅游景區(qū)是一種以旅游及相關(guān)活動為主的區(qū)域場所，通常供游客在閑暇之余參觀游覽、度假、健身等，同時也具備相關(guān)的設(shè)施和提供相應旅游服務的獨立管理區(qū)。旅游景區(qū)主要是圍繞著各種山水、寺廟、公園等建立的。 異常行為是一種社會生活中普遍存在的社會現(xiàn)象，分為一般性異常行為，例如違反交通等，以及嚴重異常行為，例如違法犯罪行為等。更具體來講，異常行為是指在某一種場景中，在正常時刻的正常位置發(fā)生的不尋常動作，或是在非正常時刻的非正常位置發(fā)生的動作。該行為通常是由人類發(fā)出的，包括一些暴力性質(zhì)行為（如揮拳、用腳踹、奔跑、踩踏等），該類行為通常是在兩人以上條件下發(fā)生，且動作發(fā)生快，另外是一些非暴力性質(zhì)行為（如涂畫、靜坐、行走等），該類行為一般是由一人發(fā)起的，且動作發(fā)生過程較長。
異常行為識別系統(tǒng)是通過計算機視覺技術(shù)、圖像視頻處理技術(shù)和人工智能識別技術(shù)對監(jiān)控視頻內(nèi)容進行分析，再根據(jù)分析結(jié)果對系統(tǒng)進行控制的過程。
對于旅游景區(qū)中的異常行為識別系統(tǒng)，是指通過檢測景區(qū)中的監(jiān)控視頻來實時識別并預警各種游客的特定異常行為，從而達到監(jiān)管要求。
