<kbd id="afajh"><form id="afajh"></form></kbd>
<strong id="afajh"><dl id="afajh"></dl></strong>
    <del id="afajh"><form id="afajh"></form></del>
        1. <th id="afajh"><progress id="afajh"></progress></th>
          <b id="afajh"><abbr id="afajh"></abbr></b>
          <th id="afajh"><progress id="afajh"></progress></th>

          深度學習前人精度很高了,該怎么創(chuàng)新?

          共 4009字,需瀏覽 9分鐘

           ·

          2021-04-13 22:12

          ↑ 點擊藍字 關注極市平臺

          作者丨仿佛若有光、DLing、CC查理
          來源丨知乎問答
          編輯丨極市平臺

          極市導讀

           

          深度學習領域新技術層出不窮,頂尖的研究人員也愈來越多,當研究領域的前人精度已經很高了,我們該怎么創(chuàng)新,從哪些角度去創(chuàng)新呢? >>加入極市CV技術交流群,走在計算機視覺的最前沿

          問題鏈接:
          https://www.zhihu.com/question/451438634


          # 回答一

          作者:仿佛若有光

          公眾號:CV技術指南

          來源鏈接:

          https://www.zhihu.com/question/451438634/answer/1813414490
          常見的思路我臨時給它們取了幾個名字:無事生非,后浪推前浪,推陳出新,出奇制勝。
          1. 在原始的數據集上加一些噪聲,例如隨機遮擋,或者調整飽和度亮度什么的,主要是根據具體的任務來增加噪聲或擾動,不可亂來。如果它的精度下降的厲害,那你的思路就來了,如何在有遮擋或有噪聲或其他什么情況下,保證模型的精度。(無事生非)

          2. 用它的模型去嘗試一個新場景的數據集,因為它原來的模型很可能是過擬合的。如果在新場景下精度下降的厲害,思路又有了,如何提升模型的泛化能力,實現在新場景下的高精度。(無事生非)

          3. 思考一下它存在的問題,例如模型太大,推理速度太慢,訓練時間太長,收斂速度慢等。一般來說這存在一個問題,其他問題也是連帶著的。如果存在以上的問題,你就可以思考如何去提高推理速度,或者在盡可能不降低精度的情況下,大幅度減少參數量或者計算量,或者加快收斂速度。(后浪推前浪)

          4. 考慮一下模型是否太復雜,例如:人工設計的地方太多,后處理太多,需要調參的地方太多?;谶@些情況,你可以考慮如何設計一個end-to-end模型,在設計過程中,肯定會出現訓練效果不好的情況,這時候需要自己去設計一些新的處理方法,這個方法就是你的創(chuàng)新。(后浪推前浪)

          5. 替換一些新的結構,引入一些其它方向的技術,例如transformer,特征金字塔技術等。這方面主要是要多關注一些相關技術,前沿技術,各個方向的內容建議多關注一些。(推陳出新)
          6.嘗試去做一些特定的檢測或者識別。通用的模型往往為了保證泛化能力,檢測識別多個類,而導致每個類的識別精度都不會很高。因此你可以考慮只去檢測或識別某一個特定的類。以行為識別為例,一些通用的模型可以識別幾十個動作,但你可以專門只做跌倒檢測。在這種情況下你可以加很多先驗知識在模型中,換句話說,你的模型就是專門針對跌倒設計的,因此往往精度可以更高。(出奇制勝)
          注:這種特定類的檢測最好是有些應用前途,讓人覺得現實中可以有。

          以上都是一些針對性的思路,最原始的做法應該是看完方向上比較重要的論文后自己寫一個綜述,寫的過程中往往會發(fā)現一些問題,不一定就是要去跟sota模型比精度,而是解決這個方向上還存在的問題。
          例如前面提到的實現輕量化,提高推理速度,實現實時檢測,設計end to end模型,都屬于解決這個方向上存在的問題,此外還包括一些其他的問題,這個得根據具體任務才能分析。

          如果說寫完綜述后還是沒思路,一來是建議嘗試以上思路,二來建議找一些跟你方向相關的經典論文看一看,邊看邊想,這四個字最重要。



          # 回答二

          作者:DLing

          來源鏈接:

          https://www.zhihu.com/question/451438634/answer/1815201106
          這個創(chuàng)新暫且分學術創(chuàng)新和工業(yè)落地的業(yè)務創(chuàng)新。

          學術創(chuàng)新:
          大家在寫論文做研究的時候,需要找創(chuàng)新點,但是別人指標已經很高了,這還怎么創(chuàng)新呢?其實創(chuàng)新也不一定非要提精度啊。

          你看看下面這張圖,有思路了沒?



          你模型指標不是很高么?那也是你現有的分布下指標高,我給你加點料你還能高么?大家可能要想,這不沒事找事么,這人真討厭。但實際上,目前深度學習被人詬病的就有這點,為什么一個人身上加點圖案你就檢測不出來了啊,那深度學習還能可信么?這樣關于深度學習的攻擊對抗方向就有了很重要的研究價值。

          再看看這張圖,有思路了沒?



          大家都知道transformer在nlp上效果很好,而最近大家cnn,cnn加傳統attention已經玩膩了,指標也很高了,那就跨個界唄,讓transformer也來cv界玩一玩,這樣基本以前所有的論文都可以加transformer再來一次了。目前是transformer在cv上效果不錯,大家趨之若鶩。即使,效果沒這么好,那這種新的方向的引入也是很有價值的,效果好,皆大歡喜,效果沒想象的那么好,那這個研究也至少為后人踩坑了嘛。

          當然,除了這些,也可以在目前比較新的論文的結論和展望里看看作者有沒有給出未來的研究目標與方向,如果有,那省的自己想了,沿著思路干就完了。

          業(yè)務上的創(chuàng)新:
          回答這一塊,我還更熟一點,畢竟搞算法落地的。
          工作中,經常有組內小伙伴說,這個模型已經99.5%了呀,還用優(yōu)化么?怎么優(yōu)化?。课耶敃r就會說,當然得優(yōu)化了啊。

          我們常常在業(yè)務中聽說一個模型指標已經很高了,那肯定是現有場景,現有測試集的,但是客戶需求一直在增加,場景在增加,老模型在新場景上的指標肯定會打折的,所以,持續(xù)更新測試集和訓練集就很重要。

          在更新數據集的同時,是不是可以想著優(yōu)化優(yōu)化推理速度呀,模型復雜度呀什么的。畢竟工程中也不是唯精度論嘛,有時候精度沒那么重要,你要跟你leader說,你把推理時間從50ms優(yōu)化到5ms,大概率會比準確率從98%優(yōu)化到99%更讓他高興。

          所以,真正工作業(yè)務中關注精度的同時,得關注具體業(yè)務,看業(yè)務需要什么?那我們就在哪個點做優(yōu)化,做創(chuàng)新。精度啊,計算復雜度啊,部署友好啊,數據管理友好啊,訓練時間友好啊,等等等等,多了去了。

          最后,不管學術還是工程,做個有心人,一定會發(fā)現很多創(chuàng)新點的。


          # 回答三

          作者:CC查理

          來源鏈接:

          https://www.zhihu.com/question/451438634/answer/1816128126
          自己在一直想同樣的問題,也跟幾個教授聊過,現在趁機整理一下。

          我自己能理解的最高形式的創(chuàng)新是創(chuàng)建一個新的任務。往大了說叫做開創(chuàng)一個新的領域,往小了說是創(chuàng)建一個新的設定。這種情況下不用關心之前的方法的精度如何因為設定不同了,而只需要和自己新創(chuàng)立的基準方法(baseline)相比較即可。大概就是這么個意思,我認為想做這種工作需要非常強的學術能力和對于某幾個方向的很深刻的理解才可能成功,一般交叉學科比容容易出現。但是現在很多瞎提研究方向都挺扯淡的以次充好。我自己也是在摸索,希望未來幾年能做出來一個。

          我認為的稍次一些但是依然非常好的創(chuàng)新形式是開發(fā)一個通用的方法。這種情況下不在乎也無需在一個流行的巨大的數據庫上展示出很高的精度,而只是需要在一些很簡單的數據庫上顯出其獨特的優(yōu)勢和特性即可,精度不是重點。之前有一些很有啟發(fā)性的方法就是這樣提出來的,雖然很多方法后來被證明無法推廣但是依然是有借鑒意義的。當然也有些很牛的通用性方法直接就在大型數據庫上干翻所有人。我認為想做這種工作需要學術能力工程能力都很強才行,而且想出來的點子也很精妙。偶然見過一些被拒的文章也想走這個思路但是功力不夠反而弄巧成拙。希望自己以后能做一些這種的工作。

          再次的話就是觀察現有的公開數據庫的缺點,然后自己提出并采集一個新的數據庫。新的數據庫一定要戳中本領域現有數據庫的一個或者幾個痛點,并且完美補上這個痛點,這樣開放數據庫之后才會有很多人去使用。想做這種工作需要對一個小領域非常了解并且有能力有錢去做數據庫。我看到過一些數據庫沒有切中痛點即使發(fā)表也不會有很多人使用,更多的是費力做數據庫之后到處被拒。我之前做過一些工作就是數據庫,覺得這個方向如果摸索到方式方法并且有資金還是很容易出成果的,而且對于目前科研推動意義也很大。

          再再次就是提出一些模型的改進了并且一般都會在流行的大型數據庫上刷一下分數,這里就有很多很多不同的方法來做,一般可以嘗試用現在比較火的一些方法結構用在另外一個領域上,或者做一些各種方法的組合,或者專注于輕量化而不注重提高精度等等。只要創(chuàng)新性上做得夠,即使精度沒有提高甚至有那么一點下降也是可以接受的。這里的方法和形式就太多了,做的人最多競爭也是最激烈的。我自己的工作大都是這種類型畢竟自己還是處于初級階段,希望自己以后能盡量減少這方面的工作。

          以上是我自己的總結想法,當然也會有別人不認同的地方。比如大佬說:


          推薦閱讀


          【盤點】CVPR 二十年,影響力最大的 10 篇論文!

          2021-04-12

          2021 年了,TensorFlow 和 PyTorch 兩個深度學習框架地位又有什么變化嗎?

          2021-04-11

          有哪些深度學習效果不如傳統方法的經典案例?

          2021-03-30



          # CV技術社群邀請函 #

          △長按添加極市小助手
          添加極市小助手微信(ID : cvmart2)

          備注:姓名-學校/公司-研究方向-城市(如:小極-北大-目標檢測-深圳)


          即可申請加入極市目標檢測/圖像分割/工業(yè)檢測/人臉/醫(yī)學影像/3D/SLAM/自動駕駛/超分辨率/姿態(tài)估計/ReID/GAN/圖像增強/OCR/視頻理解等技術交流群


          每月大咖直播分享、真實項目需求對接、求職內推、算法競賽、干貨資訊匯總、與 10000+來自港科大、北大、清華、中科院、CMU、騰訊、百度等名校名企視覺開發(fā)者互動交流~


          △點擊卡片關注極市平臺,獲取最新CV干貨

          覺得有用麻煩給個在看啦~  
          瀏覽 39
          點贊
          評論
          收藏
          分享

          手機掃一掃分享

          分享
          舉報
          評論
          圖片
          表情
          推薦
          點贊
          評論
          收藏
          分享

          手機掃一掃分享

          分享
          舉報
          <kbd id="afajh"><form id="afajh"></form></kbd>
          <strong id="afajh"><dl id="afajh"></dl></strong>
            <del id="afajh"><form id="afajh"></form></del>
                1. <th id="afajh"><progress id="afajh"></progress></th>
                  <b id="afajh"><abbr id="afajh"></abbr></b>
                  <th id="afajh"><progress id="afajh"></progress></th>
                  在线色导航网站 | 日韩一二三级 | 亚洲天堂色在线 | 天干天天操 | 亚洲视频欧美色图 |