我看見的世界(51)_李飛飛

五一

　　一回到美國，我就開始了比賽的籌備工作。乍看之下，比賽規程似乎簡單明瞭：使用ImageNet來訓練算法，用一組算法從未見過的圖像對其進行測試，評估算法對圖像標注的準確率，以此計算排名，總錯誤率最低的算法勝出。然而，從實際操作上看，將數據集轉化為競賽本身就是一項科學挑戰。

　　在象棋、撲克或籃球等比賽中，勝負的概念簡單明瞭。然而，在科學競賽中宣佈獲勝者類似於做出了一項承諾：承諾不僅參賽算法在某些方面表現優異，而且算法設計對整個領域做出了貢獻；承諾獲勝算法能給我們帶來全新的啟示、深刻的見解，甚至變革性的成就；承諾比賽結果就是邁向北極星的下一步。這是一個重要而莊嚴的聲明，發表的時候必須充滿信心。

　　在這種情況下，競賽的嚴謹性和透明度都至關重要。為了實現這兩大目標，我們起草了大量文件，詳細解釋算法的分析方法，解讀對算法性能進行量化的精確公式。除此之外，靈活性也很重要。畢竟，當給照片分配標簽時，就算是人類，也可能會對哪個物體最相關產生分歧。例如，想像在一張水果擺盤的圖片裡，草莓和蘋果都非常顯眼，因此都可以被視為照片的核心特徵。如果給這張圖片標注「草莓」而不是「蘋果」，算「錯誤」嗎？

　　為了避免誤判表現優異的算法，我們允許算法給每個條目添加五個標簽，標簽以相關性排序。比如，在上面的例子中，「草莓」和「蘋果」這兩個標簽都算正確答案。我們把這種評估標準叫作「五大標簽錯誤率」。這種標準可以鼓勵參賽者明智地分散識別風險，確保他們的能力得到最充分、最公正的展現。

　　就像ImageNet本身的創建過程一樣，比賽帶來了一連串意料之外的挑戰。我們花了數周時間研究與參賽者共享數據集的統籌問題，最終選擇分發一個精簡的子集：比賽所用數據庫約占ImageNet圖像總量的十分之一、總類別數的二十分之一，共包含約140萬張圖片，涵蓋1000種日常物品、植物和動物。為了確保為算法提供新穎的測試，我們再現了ImageNet的大部分開發過程——我們重新下載並標注了數十萬張新圖片，又進行了一輪眾包標注。總之，我們花了幾個月的時間來籌備比賽。

　　在籌備過程中，鄧嘉的支持團隊不斷壯大，其中就有像奧爾佳·魯薩科夫斯基（Olga Russakovsky）這樣的新人。奧爾佳是一位聰明且充滿活力的研究生，一直在尋找有意思的項目來貢獻自己的力量。她雙眼有神，卷髮及肩，說起話來很有感染力，在人群中非常顯眼。從我們第一次見面開始，我就很喜歡她，尤其讓我印象深刻的是她身上那種不著痕跡的反差：她性格活潑，很容易被誤認為是土生土長的加州人，但事實上，她出生在烏克蘭，經常談起她還住在哈爾科夫的祖母。她不僅智商高，也是我們系裡少有的社交能手。我知道她有足夠的才智在幕後為項目做出貢獻，但我也暗自揣測，也許有一天，她可以利用自己天生的才智成為代表項目的公眾人物。

　　＊

　　「激動嗎？」奧爾佳問道。

　　我確實很激動。網站第二天就要正式上線了，競賽消息也會同時公佈。團隊正在實驗室裡熬夜做收尾工作。

　　「告訴我，」鄧嘉說，「你在這裡的終極目標是什麼？」

　　ImageNet項目進入最黑暗的日子以來，我幾乎再也沒有思考過其他問題。考慮到我們所做的一切工作，我發現僅僅將ImageNet視為一個數據集就過於狹隘了。即使到了現在——尤其是現在，在比賽近在眼前的時刻——ImageNet仍然只是一個假設、一個賭注，賭的是計算機視覺領域最需要的東西，是獲得長久以來哺育著人類感知能力的多樣性和變化性。

　　我樂觀地認為突破就在眼前，但又擔心通往突破的道路崎嶇難行，畢竟ImageNet體量龐大，對任何一種算法來說都是難以駕馭的。我們討論了目前流行的各種算法，如支持向量機（Support Vector Machine，SVM）、隨機森林（random forest）、自適應提升（boosting），甚至是我和彼得羅在單樣本學習論文中使用的貝葉斯網絡，都會不堪重負，這迫使我們去創造一些真正的新算法。

　　「我不認為ImageNet會把現有的算法變得更好。」我說，「我認為它會讓它們過時。」

　　＊

　　比賽的正式名稱為「ImageNet大型視覺識別挑戰賽」（ImageNet Large Scale Visual Recognition Challenge，ILSVRC），對所有人開放，獲勝者會即刻獲得認可。首屆比賽將於2010年舉行，5月開放報名，9月統計結果，同年晚些時候，會在克裡特島舉行的歐洲計算機視覺大會（European Conference on Computer Vision，ECCV）研討會上公佈獲勝者。在研究界看來，賽事的準備工作似乎進行得天衣無縫，但其實這多虧了幕後一些外界力量的幫助。

　　考慮到我們缺乏辦賽經驗，再加上ImageNet的知名度還很低，我們聯繫了PASCAL VOC的創始組織者馬克·埃弗林厄姆（Mark Everingham）。馬克是牛津大學的研究員，也是計算機視覺領域冉冉升起的新星。當時PASCAL VOC已經進入第六個年頭，而ImageNet才剛剛起步。馬克非常熱心，同意把ImageNet作為PASCAL VOC競賽的一個新賽道。這一舉動非常慷慨，讓我們有機會在已經建立起來的框架中學習相關技巧。

　　當時與計算機視覺相關的競賽相對較少，因此創辦新競賽足以激起不小的水花，吸引一些早期的關注。我們一開始就收到了150份報名表，最終共有11個團隊提交了35個參賽作品。雖然參賽算法不是很多，但我們終於邁出了第一步。

　　在某種程度上，在首屆ImageNet挑戰賽前夕，我們的心情甚至比一年前ImageNet發佈的時候還要激動。發佈產品是我們向世界展示自己創造的東西；而現在，世界將向我們展示他們用ImageNet創造的東西。我們整個項目都是以生物視覺原理為基礎，而挑戰賽就是對相關生物影響的有力延續。ImageNet的基本理念是算法需要直面其所處環境的全部複雜性和不可預測性，也就是真實世界的本質。競賽將使算法面對的環境充滿真正的競爭壓力。

　　就像我們的三葉蟲祖先漂流在古老海洋中一樣，現代世界的計算機視覺算法即將墜入自己的進化熔爐，接受嚴峻的考驗。提交的作品代表了使用ImageNet完成的第一代研究成果。手握這些作品，我不禁想，這是否就是答案了？我們即將瞥見某個新的前沿了嗎？

　　然而，現實卻與我們的期望背道而馳。

學達書庫(xuoda.com)