我看見的世界(40)_李飛飛

四〇

　　總結成一句話來說：因為我們的算法出現了數據科學中所說的過擬合現象（Over fitting）。也就是說，無論算法設計得多麼巧妙（我們探索了所有能找到的算法），即使是那些在測試中表現最好的算法，在遇到新的刺激時，也會很快出現問題。那些看似經過有效訓練的算法，卻無法將它們所學到的知識，或者說它們本應學到的知識，應用于現實世界。從本質上講，這與人類的感知能力恰恰相反。人類的感知能力是由泛化能力決定的，泛化能力增強了我們的靈活性和適應性，甚至讓我們富有創造力，讓我們能夠隨時利用新想法的力量銳意進取，而不是停留在過去的經驗中止步不前。任何缺乏泛化能力的生物都會很快被自然界的不可預測性擊垮，因此這種能力是生物進化思維的關鍵特徵。然而，對機器來說，泛化在很大程度上仍然是遙不可及的。

　　在我們試圖解開過擬合之謎的過程中，算法本身是一個自然的起點。具體來說，需要研究算法如何從訓練數據中學習。我們探索的大多數算法都非常複雜，無法手動配置，用專業術語來說，是「計算難以實現」。其中包含的無數參數的排列組合範圍龐大無比，就像一個延伸到視野之外的旋鈕和開關控制面板。相反，自動化技術通過長時間的迭代試錯，可以接近理想的參數平衡。多年來，相關技術的改進一直是計算機視覺研究的重要支柱。

　　但Caltech 101鼓勵我們更深入地思考數據，這反過來又激發了我們的好奇：等式這一邊的數據是如何導致過擬合問題的呢？畢竟，如果沒有數據，「機器學習」中的「學習」對象就不存在了。儘管數據的重要性不言而喻，但這個話題缺乏物理學、數學或統計學所具備的精確性。像彼得羅和吉滕德拉這樣的研究人員是為數不多的幾個對數據進行了深入探索的人，我認為他們形成了理解這一問題的最佳直覺。我們發表的論文似乎表明，隨著數據集的增大，我們的算法的能力也相應提升——至少相對而言是這樣。即便如此，數據的篩選感覺更像是黑魔法，而不是一門科學。

　　我開始思考我們可能犯了哪些錯誤。也許應該調整訓練圖像的方向？或者增加數據的多樣性？是分辨率的問題還是相機質量的問題？或者，有沒有可能101個類別都不夠？——我都不願意往這個方向想，更不用說將它說出口了。我對這些問題思考得越深入，它們就越明顯，甚至是緊迫。但據我所知，在視覺研究領域還沒有人提出這些問題。

　　我們的優勢是數據量，可就連數據量的問題也顯得撲朔迷離。我不得不承認，其實101這個數字並沒什麼特別之處，它不是經過證實的結果，甚至不是從理論中推導出的原則性估計。這只是我和導師在擺得像霍克尼畫作一樣的午餐盤上玩「膽小鬼遊戲」的結果。這並不是突破性進展的前奏，難道這真的有那麼令人驚訝嗎？我再次回到文獻中，這次是懷著復仇的心情。如果不是101個類別，那應該是多少個？200個？500個？還是1000個？我想，拜託，千萬別是1000個。我下定決心，無論如何都要在茫茫文獻中找到一絲線索。

　　我費了一番功夫，終於找到了一些資料。這些資料甚至來自一個熟悉的來源——現代視覺研究成果的主要貢獻者之一歐文·比德曼。他的這篇論文發表於1983年，我上次讀這篇文章已經是好幾年之前的事了，應該是在凌晨兩點跟其他一堆文獻一起瀏覽的。現在，我們已經對單樣本學習進行了大量探索，並真正實現了視覺分類的夢想，從中學到的一切讓我開始以一種嶄新的視角重新審視這篇論文的觀點。

　　比德曼在論文中探討的話題與我的研究領域並不直接相關，但其中的內容卻非常有趣。他討論了如何利用基本幾何形狀的知識來識別複雜的物體。在論述和推導結論的過程中，比德曼試圖回答一個看似簡單的問題：世界上大約有多少獨特的「事物」類別？也就是說，如果把所有的事物都相加——包括「搖椅」「企鵝」「跑車」「拉布拉多」「山」和其他所有東西——總數會是多少？

　　這個問題聽上去更像一個謎語，而不是科學挑戰。但是，比德曼採用了一種基於對英語語言的分析的獨特方法，令我非常欽佩。單詞在幫助我們對所見事物進行分類方面發揮著基礎性的作用，因此他推斷，對所有離散且可量化的事物的單詞（即英文中的可數名詞）進行計數，將是一個很好的起點。然後，他又計算出每個可數名詞有多少個真正不同的變體，就像「杯子」這樣單一類別的物體可能包括帶華麗把手的白色茶具、色彩鮮豔的咖啡杯和普通的透明玻璃杯。由於某些類別比其他類別更具多樣性，他通過假設一個合理的平均值將問題簡化為一個簡單的乘法問題，從而計算出總數。

　　其中的邏輯簡單明瞭，但他的想法之所以如此具有顛覆性，是因為其規模之大。這個想法立即揭示了我們的研究是多麼有限，我們的想像力是多麼有限，而這兩者之外的世界又是多麼廣闊。這篇論文是一份模糊的影印版，但感覺就像比德曼在直接對我說：「你想要突破嗎？這就是代價，這就是需要付出的。」

　　比德曼的數字可以為我們研究人員所追求的雄心壯志提供藍圖，而這個數字是巨大的。無比的大。不是1000個，不是2000個，甚至不是5000個。當然，更不是我們花了幾個月搜集的那101個類別。

　　是3萬個。

　　我完全不知道要對這個數字作何感想。創建Caltech 101已經讓我感覺像是一項無比艱巨的任務，而現在又多了兩個數量級。但我已經無法回避這個問題了。他的思想極具價值，具有真正的洞察力，其能量幾乎在通過印在紙上的數字迸發出來。更重要的是，我知道無論這個數字註定要帶我去哪裡，我都將獨自前行。我的研究領域僅僅專注於算法，但我對數據思考得越多（尤其是大規模的數據），我就越意識到，這是一個完全未開拓的領域。世界已經選擇了它的方向。但我的北極星正引領我向另一個方向前行。

學達書庫(xuoda.com)