Pine發(fā)自凹非寺量子位|公眾號Qbit@I真正零門檻！小白都能輕松看懂的Transformer教程來了。在自然語言處理和計算機視覺領(lǐng)域，Transf
Pine 發(fā)自 凹非寺
量子位 | 公眾號 Qbit@I
(相關(guān)資料圖)
真正零門檻！小白都能輕松看懂的Transformer教程來了。
在自然語言處理和計算機視覺領(lǐng)域，Transformer先后替代了RNN、CNN的地位成為首選模型，最近爆火的ChatGPT也都是基于這個模型。
換言之，想進入機器學(xué)習(xí)的領(lǐng)域，就必須得懂Transformer。
這不，量子位就發(fā)現(xiàn)了一篇零基礎(chǔ)也能學(xué)的教程，作者是前微軟、Facebook首席數(shù)據(jù)科學(xué)家，也是MIT機械工程的碩博士，從視覺化矩陣乘法開始，帶你一步步入門。
DeepMind研究科學(xué)家@ndrew Trask也轉(zhuǎn)發(fā)評論道：
這是我至今見過最好的教程，它對入門者非常非常友好。
這條帖子也是掀起了一陣熱度，瀏覽量已經(jīng)有近30w。
網(wǎng)友們也紛紛在評論區(qū)作出“碼住”狀。
從視覺化矩陣乘法開始學(xué)
因為這是一個新手入門的教程，所以在正式學(xué)Transformer之前，會有很多介紹矩陣乘法和反向傳播的內(nèi)容。
并且在介紹的過程中，作者逐個添加學(xué)習(xí)Transforme所需要了解的概念，并加以解釋。
具體有多新手友好，我們先來淺看下這篇教程～
基礎(chǔ)概念解釋
首先，了解Transformer的第一步就是編碼，就是把所有的單詞轉(zhuǎn)換成數(shù)字，進而可以進行數(shù)學(xué)計算。
一般來說，將符號轉(zhuǎn)換為數(shù)字的有效方法是先對所有單詞符號分配數(shù)字，每個單詞符號都會對應(yīng)一個獨立的數(shù)字，然后單詞組成的句子便可以通過數(shù)字序列來表示了。
舉個簡單的例子，比如files=1、find=2和my=3。然后，句子“ Find my files”可以表示為數(shù)字序列[2,3,1]。
不過這里介紹的是另外一種方法，即獨熱編碼。
具體來說，就是將單詞符號轉(zhuǎn)換成一個數(shù)組，這個數(shù)組中只能有一個1，其他全為0。還是上面那個例子，用這種方式表示的話如下圖。
這樣一來，句子“Find my files”就變成了一維數(shù)組的序列，壓縮到一塊也就像是二維數(shù)組了。
接下來就要再來了解下點積和矩陣乘法了。
點積這里也就不再過多贅述，元素相乘再相加便可以了。
它有兩個作用，一個是用來度量兩個單詞之間的相似性，一個是顯示單詞的表示強度。
相似性很容易判別，一個單詞的獨熱矢量和自己的點積是1，和其他的點積為0.
至于表示強度，和一個能夠表示不同權(quán)重的值向量進行點乘便可以了。
矩陣乘法，看下面這幅圖便足矣。
從簡單的序列模型開始介紹
了解完這些基礎(chǔ)概念之后，就要步入正軌了，開始學(xué)習(xí)Transformer是如何處理命令的。
還是用例子來解釋，開發(fā)NLP計算機界面時，假設(shè)要處理3種不同的命令
Show me my directories please.（請給我看看我的目錄）
Show me my files please.（請給我看看我的檔案）
Show me my photos please.（請給我看看我的照片）
可以用下面這個流程圖（馬爾可夫鏈）來表示，箭頭上的數(shù)字表示下一個單詞出現(xiàn)的概率。
接下來解釋將馬爾可夫鏈轉(zhuǎn)換為矩陣形式了，如下圖。
每一列代表一個單詞，并且每一列中的數(shù)字代表這個單詞會出現(xiàn)的概率。
因為概率和總是為1，所以每行的數(shù)字相加都為1。
以my為例，要想知道它的下一個單詞的概率，可以創(chuàng)建一個my的獨熱向量，乘上面的轉(zhuǎn)移矩陣便能得出了
再然后，作者又詳細介紹了二階序列模型，帶跳躍的二階序列模型，掩碼。
至此，關(guān)于Transformer，已經(jīng)學(xué)到了最核心的部分，至少已經(jīng)了解了在解碼時，Transformer是如何做的。
不過了解Transformer工作的原理和重新建造Transformer模型之間還是有很大差距的，后者還得考慮到實際情況。
因此教程中還進一步展開，作了更大篇幅的學(xué)習(xí)教程，包括Transformer最重要的注意力機制。
換句話說，這個教程就是從最基礎(chǔ)的東西教我們重新構(gòu)建一個Transformer模型。
更加具體內(nèi)容就不在這里一一列出了，感興趣的朋友可以戳文末鏈接學(xué)習(xí)。
目錄先放在這里，可以根據(jù)自己的基礎(chǔ)知識選擇從哪個階段開始學(xué)起：
1、獨熱（one-hot）編碼2、點積3、矩陣乘法4、矩陣乘法查表5、一階序列模型6、二階序列模型7、帶跳躍的二階序列模型—-分割線—-（學(xué)完上面這些，就已經(jīng)把握住Transformer的精髓了，不過要想知道Transformer，還得往下看）8、矩陣乘法中的注意力9、二階矩陣乘法序列模型10、完成序列11、嵌入12、位置編碼13、解除嵌入14、softmax函數(shù)15、多頭注意力機制16、使用多頭注意力機制的原因17、重現(xiàn)單頭注意力機制18、多頭注意力塊之間的跳過連接19、橫向規(guī)范化（Layer normalization）20、多注意力層21、解碼器堆棧22、編碼器堆棧23、編碼器和解碼器棧之間的交叉注意塊—-又一個分割線—-（如果你學(xué)到這里，那說明Transformer你已經(jīng)掌握得差不多了，后面講的東西就是關(guān)于如何讓神經(jīng)網(wǎng)絡(luò)表現(xiàn)良好了）24、字節(jié)對編碼（?yte pair encoding）
作者介紹
?randon Rohrer，目前是Linkedin的一名機器學(xué)習(xí)工程師，曾先后在微軟，F(xiàn)acebook擔(dān)任首席數(shù)據(jù)科學(xué)家。
在Facebook工作期間，他建立了一種更精確的電網(wǎng)映射預(yù)測模型，以評估全球的中壓電網(wǎng)的連通性和路由。
寫教程算是?randon的一大愛好了，目前他所有的教程都不斷更新在他的新書《如何訓(xùn)練你的機器人》中，帖子的跨度從職業(yè)發(fā)展到各種編程工具的介紹。
傳送門：https://e2eml.school/transformers.html#softmax更多教程：https://e2eml.school/blog.html
— 完 —
量子位 Qbit@I · 頭條號簽約
關(guān)鍵詞：
