我看見的世界(55)_李飛飛

五五

　　接下來，來自成千上萬個感受野的信號會深入神經網絡，彙聚融合成更加豐富、清晰的提示信息。每個新的感知層都在比上一層更加複雜的感知水平上運行，當感知到熟悉的事物時（也就是感知到算法此前已經被訓練識別的東西），就會做出反應，就像生物神經元的生化反應被激活一樣。微小的圖案越來越大。這些圖案進一步像拼圖一樣連接起來，形成越來越容易辨認的片段——老虎的條紋、木頭的紋理、映在地上的影子。

　　最終，經過各層過濾後，僅剩下少數幾個信號被融合成識別對象的詳細圖像，進入網絡的最後階段：識別階段。摩托車、豹子、算盤、母雞、電視機，或是其他上千種選擇中的任何一個。所有這些都來自同一種算法，其精確度越來越接近人類水平。

　　當然，這些並不是什麼新的創意。自從貝爾實驗室成功將卷積神經網絡應用於手寫郵編，楊立昆多年來一直對卷積神經網絡保持著驚人的忠誠。在AlexNet誕生時，他已經花了20年時間堅持不懈地完善算法、發表研究成果，但一直沒有必要的資源來充分實現這些成果。現在，幾乎在一夜之間，這種常被視為誤入歧途的執著似乎變得極具先見之明。楊立昆把自己的卷積神經網絡算法巧妙地命名為LeNet（呼應他的英文名Yann LeCun），其指導理念在AlexNet中熠熠生輝，宛如重生般煥發生機。

　　這種聯繫讓AlexNet背後的三人團隊備受矚目。他們都是多倫多大學的研究人員，負責人是與項目同名的亞曆克斯·克裡熱夫斯基，以及他的合作夥伴伊利亞·蘇茨克維（Ilya Sutskever）。這兩個聰明的年輕人資歷尚淺，仍在建立自己的聲譽。然而，第三個名字立刻引起了我的注意：傑弗裡·辛頓。就是這位辛頓，在20世紀80年代中期開發了反向傳播技術，成為早期機器學習的先驅。反向傳播的突破性方法首次實現了對大型神經網絡的可靠訓練。就是這位辛頓，曾經指導過彼時還是他實驗室學生的楊立昆。和他的學生一樣，辛頓拒絕放棄對神經網絡的研究，即使這讓他在同事中顯得形單影隻。看來，AlexNet絕不僅僅是一個參賽算法。這是一個歷經四分之一個世紀的正名時刻。

　　隨著我對算法架構研究的不斷深入，它根源的意義變得更加清晰。雖然相隔20多年，但AlexNet和LeNet的主要區別似乎微乎其微，兩者都運用了傳統的神經網絡範式。但有一個關鍵的區別是顯而易見的：AlexNet這個新的演化版要龐大得多。

　　與LeNet相比，AlexNet可以處理大約10倍規模的圖像，通過一個大小約為其兩倍的卷積核（可以理解為神經網絡的「焦點」）來掃描圖像。在此基礎上，AlexNet通過一個更深的網絡對識別的細節進行過濾，這個網絡比LeNet多出幾層，因此能夠更全面地處理所獲得的信息，並做出更複雜的推斷。最後，LeNet的設計目標是將分析結果轉化為10種可能結果中的一種，對應於它要識別的10個手寫數字，而AlexNet可以識別出1000個物體類別，也就是比賽中選擇使用的ImageNet子集中所包含的類別總數。

　　但所有這些都只是程度上的差異，而非本質上的差異；從理論層面看，兩種算法幾乎沒有什麼區別。然而，AlexNet的表現卻創下了前所未有的輝煌。

　　這是如何實現的呢？

　　部分原因肯定是算法運行所需的硬件。在很長一段時間裡，神經網絡的訓練難度很大，硬件的明顯限制是致命的。即使是利用過去幾十年中規模小得多的網絡來訓練算法，從操作層面看，也很難實現。事實上，用世界上最大的圖像集合來訓練類似AlexNet這樣的網絡似乎是難以想像的。但技術已經取得了長足的進步，尤其是出現了針對特定應用進行了優化的計算機硬件，價格低廉但性能出色，讓大規模數據集訓練成為可能。有意思的是，一切都要歸功於電子遊戲的流行。

　　這就引出了另一個命運轉折點：從功能上看，神經網絡所傾向的數字運算方式類似於視頻遊戲的圖形渲染方式。自20世紀90年代以來，價值數十億美元的電子遊戲產業一直推動著定制硬件的進步和商業化，助推了英偉達等超級品牌的崛起。到2012年，相關硬件——一種被稱為「圖形處理器」（Graphics Processing Unit，GPU）的專用處理器——已經以優惠的價格成為消費產品。對辛頓的實驗室來說，這意味著實現AlexNet所需的硬件不再需要政府撥款和施工許可，而是可以在百思買電器大賣場的貨架上買到。

　　然而，「可行」不一定意味著「方便」。即使有如此強大的硬件，利用ImageNet來訓練AlexNet也需要使用多個處理器，每天24小時運行整整一周的時間。所以，在2012年年初的某一周，當世界各地數以百萬計的圖形處理器忙於渲染抖動的機槍、成群結隊的僵屍和彈片飛濺的爆炸時，有兩台圖形處理器卻正在多倫多的某個地方將一種新型神經網絡從理論變為現實。

　　儘管算法性能取得了顯著進步，但在嚴格意義上講，並沒有什麼新穎的東西。進步的作用只是讓現有進程能夠在更加實際的時間內完成。如果要說2012年的世界與LeNet時代有什麼真正的不同，那一定是用於訓練網絡的數據之充裕。畢竟，在1989年，數字圖像還處於起步階段，大規模的圖像庫也非常罕見。在那個時候，組織一套用於神經網絡訓練的數據集——不僅僅是數字圖像集合，更是一個針對特定應用、每個圖像都由人工精確標注的海量集合——似乎完全是無稽之談。

　　當然也有例外情況，那就是用來訓練LeNet讀取郵編的掃描圖像。在當年，即使打造一套手寫數字圖像的訓練集，也是勉勉強強才能完成的工作。郵編圖片訓練集和現代圖片訓練集的對比情況引人深思。與數百萬像素的全彩照片不同，掃描的數字圖片尺寸很小，顏色單一，佔用的內存也相對較少。而且，只需數千個示例（而不是自然世界所需的數以億計的示例），就足以涵蓋其特異性所需的多樣性。因為當時只能找到手寫郵編的圖片訓練集，所以，在20多年的時間裡，卷積神經網絡算法的唯一成就是識別手寫郵編也就不足為奇了。從這個角度來看，數據似乎有種為系統注入活力的能力。

　　事實上，在ImageNet的幫助下，AlexNet煥發生機，它貪婪地吸收著ImageNet的內容，在ImageNet規模和多樣性的土壤中生根發芽，茁壯成長。一直以來，神經網絡並不需要更花哨的數學公式和更奇特的抽象概念。我們期待神經網絡能夠理解世界，而它們只是在等待我們提供更加清晰的圖景，等待一些真正有學習價值的東西。大數據訓練了LeNet去理解複雜的人類筆跡，現在它也在訓練AlexNet去理解萬物。

　　後來我才知道，在2012年之前的幾年裡，辛頓重拾激情，想要證明神經網絡的可行性。2011年，他認為自己比以往任何時候都更接近轉折點，於是開始以一種既對抗又合作的方式與同事溝通，他的表達方式聽起來更像是提出挑戰，而不是提出問題。他跟同行探討下一步行動計劃，其中一個同行就是吉滕德拉。雖然他們兩人早有交情，但吉滕德拉一直對辛頓的項目持懷疑態度。

　　「我要怎麼做，才能讓你相信神經網絡是未來的趨勢？」辛頓問道。

　　「你真的想打動我嗎，傑弗裡？那就讓我看看它們能不能處理一些真正的任務。」

　　「比如？」

學達書庫(xuoda.com)