“卷積”其實沒那么難以理解

↓↓↓點擊關注，回復資料，10個G的驚喜

作者：J Pan??來源：知乎

鏈接：https://zhuanlan.zhihu.com/p/41609577

著作權歸作者所有，本文僅作學術分享，若侵權，請聯(lián)系后臺刪文處理

狄拉克函數(shù)從何而來？卷積是怎么回事？卷積定理又是什么？如果你對卷積公式不甚了解，亦或是想對其有更深的認知，那么本文便是一份優(yōu)秀的科普材料。

傅里葉變換、拉普拉斯變換、自（互）相關及卷積是線性系統(tǒng)分析里面最重要的四個數(shù)學工具，可以毫不夸張的說，自動控制、信號處理等課程幾乎所有內容都是這幾個公式組合排列的結果。四個公式中的三個已經介紹過了。今天我們就來討論一下最后一個：卷積公式。

一、狄拉克何許人也？

保羅·狄拉克（Paul Adrien Maurice Dirac，1902－1984），出生在瑞士，后移居英國，著名理論物理學家。通過幾個場景來認識一下(故事來源于網絡，版權歸原作者所有)。

鏡頭一：
1933年狄拉克獲諾貝爾物理獎（與薛定諤共享）。當時他私下對學術老前輩盧瑟福（也是諾獎得主）說，對于獲諾獎這個事他很苦惱，他不想成為新聞人物，更不想出名，這樣會打斷他平靜的生活，打算拒絕接受這個榮譽。盧瑟福對他說：“如果你這樣做，你會更出名?！庇谑堑依送忸I獎。

鏡頭二：
狄拉克在美國威斯康辛大學作報告。期間，有一位聽眾說 ：“您寫在黑板右上方的那個方程我看不懂?！钡依寺牶笠谎圆话l(fā)，讓當時的場面相當尷尬。主持人試圖打破僵局，說狄拉克教授剛才那個問題您還沒回答呢。狄拉克喃喃地回應道：“剛才那個不是一個疑問句，那是一個陳述句啊?！?/span>

鏡頭三：
位于英國倫敦的威斯敏斯特教堂（Westminster Abbey），是英國國王登基和皇室舉行婚禮的地方。這里長眠著許多偉大人物，如牛頓、達爾文、狄更斯、邱吉爾、彌爾頓。牛頓墓旁放置有一塊石碑，上面鐫刻著保羅? 狄拉克的名字以及他那優(yōu)美的方程式。

狄拉克最早是從事相對論動力學的研究，1925年海森堡訪問劍橋大學，狄拉克深受影響，把精力轉向量子力學的研究。1928年他把相對論引進了量子力學，建立了相對論形式的薛定諤方程，也就是著名的狄拉克方程。1930年狄拉克出版了他的量子力學著作著作《量子力學原理》，這是物理史上重要的里程碑，至今仍是量子力學的經典教材。

在他的教材里面，他提出了一個怪異的函數(shù)，一般被叫做狄拉克??函數(shù)：

并且滿足

狄拉克δ函數(shù)在概念上，它是這么一個“函數(shù)”：在除了零以外的點函數(shù)值都等于零，而其在整個定義域上的積分等于1。嚴格來說δ函數(shù)不能算是一個函數(shù)，因為滿足以上條件的函數(shù)是不存在的。但是為什么狄拉克還要這么干呢？

百度百科上對于狄拉克函數(shù)有如下描述：

物理學中常常要研究一個物理量在空間或時間中分布的密度，例如質量密度、電荷密度、每單位時間傳遞的動量（力）等等，但是物理學中又常用到質點、點電荷、瞬時力等抽象模型，他們不是連續(xù)分布于空間或時間中，而是集中在空間中的某一點或者時間中的某一瞬時，那么它們的密度應該如何表示呢？——δ函數(shù)！

還記得我們之前說過得赫維賽德函數(shù)嗎？就是簡化了原始麥克斯韋方程組的那個人？

這個函數(shù)的導數(shù)就是δ函數(shù)哦！δ函數(shù)有很多用處，本身蘊藏的數(shù)學和物理含義很值得去挖掘，今天我們就先說一下它在工程中一般干什么用。

我們先研究一個簡單的函數(shù)：一個矩形信號寬度是??,高度是??，總的面積是1。這個矩形信號可以變形——可胖可瘦，但是要保證面積不變。

這個函數(shù)的傅里葉變換長什么樣呢？也很簡單：

前面說了，這個信號可胖可瘦，那胖瘦的時候有什么規(guī)律呢？

clc;?clear?all;?close?all;
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
N=10000;?????????????????????????????????????%?sampling?numbers
Tau0=1;??????????????????????????????????????%?define?initial?Tau
for?i=1:100
????Tau=Tau0/i;?
????TimeRange=linspace(-10*Tau,10*Tau,N);????????%?display?time?range
????FreqRange=linspace(-200*pi/i,200*pi/i,N);????%?display?frequency?range
????Half_Tau=Tau/2;??????????????????????????????%?-0.5?Tao?==>?0.5?Tao
????RECT=1/Tau*double(abs(TimeRange)%?one?rectangular?pulse
????SINC=sinc(FreqRange*Tau*pi);?????????????????%?sinc?pulse,?Xtra
????
????subplot(2,1,1);
????plot(TimeRange,RECT,'LineWidth',1.5);?grid?on;
????xlim([-1?1]);?ylim([-0.5?120]);
????xlabel('Time');?ylabel('Amplitude');
????title('Made?by?J?Pan')
????
????subplot(2,1,2);
????plot(FreqRange,SINC,'LineWidth',1.5);?grid?on;?
????xlim([-200*pi/i?200*pi/i])；ylim([-0.5?1.5]);?
????xlabel('Frequency');?ylabel('Amplitude');
????title('Made?by?J?Pan')
????drawnow;???
end

假設這個信號也有愛美之心，以瘦為榮，天天不吃飯，以至于最后瘦成了一道閃電，比如?，會出現(xiàn)什么結果呢？——我們發(fā)現(xiàn)，當這個信號瘦到一定程度的時候，就變成了狄拉克??函數(shù)：

并且滿足

它的頻譜也變得很簡單了，變成了一條直線。

這個結論有什么意思呢？——δ函數(shù)包含了所有頻率的分量。這個有啥用呢？用處大了去了，這就是一個天然的最理想的試驗函數(shù)??！只用一個函數(shù)就可以把系統(tǒng)的所有頻率分量的響應激發(fā)出來，怎么樣，帶勁不帶勁？換句話說，在輸入為狄拉克δ函數(shù)時，系統(tǒng)的沖激響應包含了系統(tǒng)的所有信息，也就是說系統(tǒng)的理想沖擊響應就可以代表系統(tǒng)本身?——我們用小錘敲一下系統(tǒng)，記錄下來響應，就能夠得到系統(tǒng)的模型了。

二、卷積是怎么個回事？

終于回歸正題，卷積說的是什么？為什么會在線性系統(tǒng)這么廣泛的使用？我查閱了大量資料，發(fā)現(xiàn)有一個例子說的特別好，引用特別廣泛，以至于都不知道原作者是誰了。接下來我們也用這個例子（版權歸原作者所有）為基礎來延伸和拓展一下。

話說有一個七品縣令，喜歡用打板子來懲戒那些市井無賴，而且有個慣例：如果沒犯大罪，只打一板，釋放回家，以示愛民如子。

有一個無賴，想出人頭地卻沒啥指望，心想：既然揚不了善名，出惡名也成啊。怎么出惡名？炒作唄！怎么炒作？找名人呀！隔現(xiàn)在，注冊個微博賬號隨便找個流量明星就能開撕啊 ——那時候不行，還沒有微博一說，他自然想到了他的行政長官——縣令。

于是在光天化日之下，無賴站在縣衙門前撒了一泡尿，后果是可想而知，這是明目張膽的藐視公堂無視法律啊，自然被請進大堂挨了一板子——這無賴身體也是好，挨了板子后居然昂首挺胸回家了。躺了一天，嘿！身上啥事也沒有！無賴在這件事上的決心還很大，第二天如法炮制，全然不顧行政長管的仁慈和衙門的體面，第三天、第四天......每天去縣衙門領一個板子回來，還喜氣洋洋地，堅持一個月之久！這無賴的名氣已經和衙門口的臭氣一樣，傳遍八方了！

縣令大人噤著鼻子，呆呆地盯著案子上的驚堂木，擰著眉頭思考一個問題：這三十個大板子怎么不好使捏？......想當初，本老爺可是因為奧數(shù)加分才金榜題名的，今天要好好建個數(shù)學模型，好歹要解決這個問題，挽回一點面子：

——人（系統(tǒng)！）挨板子（沖擊?。┮院?，會有什么表現(xiàn)（輸出?。?/span>

——廢話，疼唄！

——如何量化呢？

——看疼到啥程度。像這無賴的體格，每天挨一個板子啥事都不會有，連哼一下都不會有，你也看到他那得意洋洋的嘴臉了；如果一次連揍他十個板子，他可能會皺皺眉頭，咬咬牙，硬挺著不哼；揍到二十個板子，他會疼得臉部扭曲，象豬似地哼哼；揍到三十個板子，他可能會象驢似地嚎叫，一把鼻涕一把淚地求你饒他一命；揍到四十個板子，他會大小便失禁，勉強哼出聲來；揍到五十個板子，他連哼一下都不可能——死啦！

縣令雙手捧腮，若有所悟，擰緊的眉頭漸漸松弛下來：

——嗚呼呀！為啥那個無賴連挨了三十天大板卻不喊繞命，而一次連續(xù)打上三十個大板呀？

—— 呀呼嘿，打一次的時間間隔（Δτ=24小時）太長了，所以那個無賴承受的痛苦程度一天一利索，沒有疊加，始終是一個常數(shù)；如果縮短打板子的時間間隔（建議Δτ=0.5秒），那他的痛苦程度可就迅速疊加了；等到這無賴挨三十個大板（t=30）時，痛苦程度達到了他能喊叫的極限，會收到最好的懲戒效果，再多打就顯示不出您的仁慈了。

——還是不太明白，時間間隔小，為什么痛苦程度會疊加呢？

——這與人（線性時不變系統(tǒng)）對板子（脈沖、輸入、激勵）的響應有關。什么是響應？人挨一個板子后，疼痛的感覺會在一天（假設的，因人而異）內慢慢消失（衰減），而不可能突然消失。這樣一來，只要打板子的時間間隔很小，每一個板子引起的疼痛都來不及完全衰減，都會對最終的痛苦程度有不同的貢獻，總的來說：

t個大板子造成的痛苦程度=Σ(第τ個大板子引起的痛苦*衰減系數(shù))

請看下圖：

先考慮挨兩板時是什么情況：把挨板子時的疼痛響應用??來表示，其中??表示持續(xù)時間。當剛挨最新一板子時，響應顯然為??即?，那相隔??之前還有一板子呢？響應是??，所以挨兩板子時總的疼痛定義為每板子的響應乘以持續(xù)時間：

實際上兩板子不可能完全一樣，今天是士兵甲打的，明天是士兵乙，兩個力道完全不在一個層級上啊，怎么辦？需要修正一下要把激勵的大小也考慮進去：

要是碰上一個身強力壯，心情又不好的士兵呢？連續(xù)不停地打，這時可憐的無賴只能祈求上帝了：

當??時，有

如果把積分時間擴展到負半軸，

這就是卷積公式，它本質上說系統(tǒng)（人）在連續(xù)激勵下（挨板子）所的得到的結果（疼）。翻譯的學術一點：卷積將是過去所有連續(xù)信號經過系統(tǒng)的響應之后得到的在觀察那一刻的加權疊加。而現(xiàn)實生活中，我們就是要解大量的這種問題，這也就是為啥卷積這么常見這么重要的原因。

三、卷積定理又是個什么玩意？

前面我說了狄拉克函數(shù)，說了卷積，為什么把他們兩個放在一起？這可以通過卷積定理來說明。

信號與系統(tǒng)或自動控制研究的內容是輸入、輸出及系統(tǒng)三者之間的關系。

在第一部分，我們說狄拉克函數(shù)（也就是單位脈沖函數(shù)）的傅里葉變換橫貫在整個頻域上，因此可以作為一個理想的測試信號來確定系統(tǒng)的在各個頻率上的響應情況，也就是說可以用單位脈沖響應可以完整的表征系統(tǒng)的響應特性。

在第二部分的例子中，打板子可以看成是一種沖擊或脈沖信號，系統(tǒng)的響應可以用卷積來計算。

其中，??為激勵信號，??為脈沖響應。

這些都是在時域觀察的，如果我們切換到頻域，會是什么樣？假設激勵信號的傅里葉變換為??，脈沖響應??的傅里葉變換為??，輸入?表示輸入有哪些分量，系統(tǒng)單位脈沖響應??表示每個分量會有怎樣的響應，那兩者相乘不就把輸入的那些分量篩選出來了？——乘積是不是就代表系統(tǒng)的不同頻率下響應？

等等，我們剛才說了個什么事？我們先在時域里面看，認為系統(tǒng)的輸出為輸入與單位脈沖響應的卷積；然后又切換到頻域看，認為系統(tǒng)的輸出為輸入傅里葉變換與單位脈沖福利變換的乘積。我們看的是同一個事情，為什么結果不同——難道他們是一回事？

你的猜想是對的，這兩個東西還真是一回事，這就是卷積定理：函數(shù)卷積的傅立葉變換是函數(shù)傅立葉變換的乘積。具體分為時域卷積定理和頻域卷積定理，時域卷積定理即時域內的卷積對應頻域內的乘積；頻域卷積定理即頻域內的卷積對應時域內的乘積，兩者具有對偶關系。

還記得我們以前說過的，時域和頻域有某種對稱性嘛？時域的乘法與頻域卷積或時域卷積與頻域乘法是具有對稱性的，有了這個工具，我們在處理問題的時候就可以隨意轉換，哪個域方便就在哪個域計算。

1. 準備寫本書

2. 麻省理工公開課：微積分

3. 太騷了，用Excel玩機器學習！

4. 如何評判一個深度學習框架？

5. 統(tǒng)計學知識闖關之十問十答
   

6. 機器學習理論基礎到底有多可靠？