我看見的世界(64)_李飛飛

六四

　　自此以後，和安德烈的會面便成了我的固定日程。我們的目標是設計一種新的算法，不只是能簡單地標記任何出現在前景中的物體，更可以描述整個場景。即使按照我們實驗室設定的高標準，這種新算法也感覺像是我們研究的未來，甚至可能是整個領域的未來。但是我的激情讓我成為極其嚴苛的批評者。

　　「好吧，安德烈，這看起來很不錯。」

　　「但是……？」他猶豫了一下，笑著說。他知道這句話後面跟的是什麼。

　　他工作站上的顯示屏似乎展現了我們的想法：只需輸入一張圖片，就能輸出一句圖片描述。

　　他的算法很聰明，在某些方面甚至極其聰明；儘管如此，我知道我們還有更長的路要走。這只是解決方案的一個片段，而不是整體。「但是，我們還沒有實現目標。」

　　他無力地坐在座位上。

　　方法問題非常微妙。在擔任教授的這些年裡，我已經敏銳地注意到了與此相關的現象。學生們往往會瘋狂地專注於自己的模型是否有效，以至「模型如何運作」的問題被拋到了一邊，安德烈就是這種情況。不可否認，他的模型乍一看的確有效，但通過定期的交流，我對他的思路已經非常瞭解。雖然他的方法有理有據，提供的圖片說明也很有文采，但最終得出的模型只是某種圖片說明匹配系統。

　　簡單來說，他的計算機屏幕上顯示的描述似乎過多來自某種形式的訓練數據，就好像他的算法是在某種精心設計的數據庫中搜索合適的描述一樣。我們的最終目標是讓算法可以完全從頭開始生成圖片說明，而在我看來，他的模型無法實現這個目標。我確信他的模型在實踐中無法泛化：儘管在測試時表現良好，但它會被訓練集之外的圖片所迷惑，導致圖片說明出現描述錯誤或語法錯誤，或二者兼有。但真正的問題在於科學性。模型提供輸出圖片說明的方式是通過檢索，這並不屬於真正的創作。

　　安德烈歎了口氣，充分認識到我給他增加了多麼大的工作量。他顯然很氣惱，但我知道他能認識到，這道鴻溝是值得跨越的。

　　「好吧，讓我重新思考一下。」他說，「我明白了，圖片說明需要逐字逐句地書寫。這就產生了很多問題，比如我們怎樣才能遵循圖像的視覺特徵，寫出語法正確的內容，但是……我會想辦法的。」

　　我笑了笑。他沒有掩飾自己的沮喪，但他的思路是對的。作為一名科學家，我拒絕接受任何折中方案，他很清楚這一點。至於他如何實現，誰也說不準，但我知道，他骨子裡和我一樣不屈不撓。我相信他會成功的。

　　＊

　　語言文字和視覺圖像是兩個完全不同的領域。圖像的基本單位是「像素」，這個術語最初是「圖像元素」的縮寫，現在已經很常用。像素是一個幾乎無法察覺的點，捕捉了場景中單個小點的顏色。要描繪出有意義的畫面，可能需要數百甚至數千個像素，或者更多。我們口袋裡的手機可以捕捉到由數千萬個像素點組成的細節豐富的圖像。但是，在單獨評估圖像時，像素本身基本上不能提供任何信息。無論是我們大腦中的灰質還是機器中的矽，視覺算法的工作就是將這些像素組合成越來越大的二維圖像區域，然後以某種方式掃描其中與現實世界的三維特徵相對應的模式：空間、體積、表面、紋理等等。

　　相比之下，英語等語言的基本單位是單詞，至少在日常口語和書寫中是如此。與像素不同的是，單詞通常表達獨特的含義，獨立存在時同樣可以表意。單詞的範圍雖然很大，但數量是有限的。儘管如此，當我們把單詞組合在一起之後，它們的含義就會受到影響，甚至完全改變，比如「rock bottom」（最低點）、「rock fragment」（岩石碎片）和「rock music」（搖滾樂），這幾對單詞都含有rock一詞，意思卻完全不同。當更多的單詞串聯起來構成更長的句子時，這種現象就會變得更加複雜，更不用說段落、文章和書籍了。總之，單詞表達思想的組合潛力是無窮無盡的。

　　雖然新時代早期的頭條新聞主要是計算機視覺的突破，但在同一時期，自然語言處理技術也取得了豐碩成果。其中一顆早期的明珠就是遞歸神經網絡（Recurrent Neural Network，RNN）。遞歸神經網絡是一組專門為處理線性單詞序列而設計的算法，能夠快速推斷文本的基本屬性，就像AlexNet這類卷積神經網絡處理圖像的方式一樣。和卷積神經網絡一樣，遞歸神經網絡也已經存在了幾十年，但直到現在，人們才意識到它們的真正威力。

　　然而，比任何一個領域的進展都更具吸引力的，或許是人工智能的眾多子領域之間開始出現交叉融合。不斷壯大的神經網絡家族為視覺、語言、語音和其他形式的感知提供了一個共同的算法框架，激勵著像我們這樣的實驗室去模糊它們之間的界限，以實現更綜合、更像人類的能力。

　　＊

　　「我想我有辦法了。」安德烈隔著我辦公室的門說。距離我們上次談話已經過去了幾天，這次他顯得沒那麼沮喪了。我甚至看得出他有了好點子。「想像一下，把卷積神經網絡和遞歸神經網絡進行配對，」他一邊說一邊進屋坐到沙發上，「一個負責對視覺信息進行編碼，同時將它跟單詞配對，另一個負責生成語言。然後我們以成對出現的圖像和人類文字描述為基礎，來訓練我們的模型。」

　　現在總算有些眉目了，我邊琢磨邊點頭。

　　「繼續。」我好奇他還有什麼想法，「然後呢？」

　　「肯定還有一些未知的東西需要解決，但我認為遞歸神經網絡會根據語庫中已有的單詞，有條件地生成圖片描述中的每個新單詞。這樣，我們在描述圖像內容的同時，也能遵循從訓練數據中推斷出的語法模式。至少從理論上來講，結果應該是一個完全新穎的描述，或多或少是使用自然語言來呈現的。」

　　我很難不被這個想法打動。哪怕這招兒只有一半管用，他也能從我給他留下的困境中脫身。我迫不及待地想知道接下來會發生什麼。

　　※

學達書庫(xuoda.com)