你是什么時候對深度學習失去信心的？

早就有些碎碎念了，隨便寫寫，不一定有啥邏輯。

對于深度學習的現(xiàn)狀，工業(yè)界還是很清楚的。如果沒有變革性的突破，弱人工智能時代的范式應該基本就要確定了。

大模型 + 拖拖樂

基本范式就是 大模型 + 拖拖樂，下游少量數(shù)據(jù)微調，在前端表現(xiàn)為拖拖樂形成DAG，自動生產(chǎn)模型。拖拖樂平臺，各大云廠商都有提供，如阿里的PAI，騰訊的Ti平臺、華為的ModelArts，亞馬遜的SageMaker等等

對于大模型，各種網(wǎng)絡魔改價值很有限，因為數(shù)據(jù)上去后，假設越少越好，偏置歸納越少越好，這就使得模型越樸素越好。

大模型也會成為各大公司的核心資產(chǎn)，所有數(shù)據(jù)向大模型匯聚，試圖記下互聯(lián)網(wǎng)上的一切數(shù)據(jù)。然后，一鍵蒸餾小模型，一鍵剪枝，一鍵壓縮，一鍵部署，一鍵一條龍。

深度學習規(guī)則化

越來越覺得，深度學習變成一種數(shù)據(jù)驅動的規(guī)則，一個模型就是一個規(guī)則。傳統(tǒng)規(guī)則引擎里各種if-else，全靠程序員啟發(fā)式完成。

深度學習規(guī)則引擎，每個規(guī)則就是個小模型。全靠算法工程師，使用數(shù)據(jù)驅動的方式訓練完成。

之前大家覺得，一個強力模型包打天下?，F(xiàn)在看來，更務實的方式的，無數(shù)小模型，組合沖擊，往往效果更佳。

這就使得，原本深度學習被詬病可解釋性問題，其實不再是問題。因為從業(yè)務頂層已經(jīng)被拆分，拆分成一個個可以被人理解的因子，無法被合理解釋的因子，項目啟動的評審都無法通過。

就我熟悉的視頻理解來說吧，原本以為一個強大模型，學習所有數(shù)據(jù)，出一個強力分數(shù)，然后用這個分數(shù)搞定一切。但這樣的模型背后的黑箱，無法被接受。

現(xiàn)在，視頻被從非常多個維度切分，視頻清晰度、視頻美觀度、視頻有沒有l(wèi)og，視頻有沒有涉黃，視頻有沒有涉政，是不是ppt視頻，有沒有被剪裁過，有沒有黑邊。所有這些子任務都不需要多強的模型，更重要的是數(shù)據(jù)。

顯著的 > 隱含的

另外一個感悟是，顯著的優(yōu)于隱含的，字幕就是優(yōu)于打標簽，OCR識別優(yōu)于各種分類、檢索、生成。因為字幕就是最顯著的，其他信息都是隱含的，通過模型推測出來的。

這就產(chǎn)生了一個固有矛盾。在學術界，隱含的才是有難度的，才是有研究價值的，例如視頻動作識別，一定要從連續(xù)的動作中理解出到底在干啥。但在工業(yè)界，這樣的任務就非常難用。工業(yè)界喜歡顯著的，因為問題最少。

這樣的分野，會使得工業(yè)界和學術界關心的問題，慢慢發(fā)生分歧，不知道是好是壞。

刀耕火種的時代過去了

過去，算法工程師們耕作著一畝三分地，或經(jīng)營著一個個手工作坊，面向業(yè)務營業(yè)。但顯然刀耕火種和手工作坊時代要過去了。大型收割機已經(jīng)進入農(nóng)田，制造業(yè)工廠已經(jīng)拔地而起，里面是一條條模型流水線。這就是生產(chǎn)力的發(fā)展，勢不可擋。

但就像失去土地的農(nóng)民，失去作坊的工匠，下步又該何去何從？

技能閉環(huán)，還是深耕？

我能想到的大概兩個方向。

一個是往大模型深耕，成為大模型專家，在公司內(nèi)守住一個領域的大模型。或者帶著自己大模型的技能，到其他地方去用大模型降維打擊。但其實能用起的大模型的地方，可能不會很多，訓練的成本就很高。

一個是技能閉環(huán)，或者說就是全?；a充后臺、前端、大數(shù)據(jù)、產(chǎn)品的知識，爭取獲得獨立打造產(chǎn)品的能力。這樣能降低被螺絲釘化的風險。