如何做好研究：鍛鍊那些可以「刻意練習」的真正能力

閱讀本文需 8 分鐘

研究能力不是天赋，而是一套可以刻意练习的小技能。

原文標題：如何做好研究

原文作者：vivek，AI 分析師

原文編譯：實踐哥 MinLi，AI Builder

並沒有人真正教過你如何做研究。你得到一張辦公桌、一個別人挑好的問題，以及一個「做出點新東西」的模糊指令。

因此，大多數人通過他們能看到的東西（比如論文、帖子和公告）對這份工作進行逆向工程，最終他們學到的只是如何「看起來」像個研究員，而不是如何「成為」一個研究員。真正的研究能力是一系列小技能的堆疊，而幾乎每一項都可以通過刻意練習來培養。

挑選你自己的問題

理查德·漢明（Richard Hamming）在貝爾實驗室有個習慣，這讓他在午餐時很不受歡迎。他會問坐在旁邊的人，他們領域裡重要的問題是什麼，然後問他們為什麼不去研究這些問題。於是大家紛紛換桌吃飯。

這個問題很刺人，因為我們大多數人都給不出好答案。我們不是在選擇問題，而是在吸收問題——從導師那裡吸收，從某個大實驗室上個季度發布的公告裡吸收，從這周大家都在轉發引用的論文裡吸收。

吸收來的問題，麻煩在於你只握有結論，卻不知其背後的推理邏輯。你知道某個著名實驗室關心某個方向，但你不知道為什麼，不知道他們期望發現什麼，也不知道什麼情況會讓他們放棄這個方向。

當他們轉向時，你一年後才會察覺。而且，在一個已經流行起來的問題上，你是在和 1,000 個起步比你早、算力比你多的人賽跑。

約翰·舒爾曼（John Schulman）的機器學習研究指南將這項工作分為兩種模式。第一種，你閱讀文獻並尋找可以改進的地方。第二種，你選擇一個你真心希望實現的結果，然後反推去設計實驗。

他主張第二種，其隱晦的原因在於這能製造出原創性。一個你真正關心的目標，會把你拖入任何綜述論文都未曾覆蓋的領地。

至於「品味」（taste），人們常把它當成一種天賦來討論。但它表現得其實更像是一塊肌肉。

在運行每次實驗前，先預測它的結果；遮蔽一篇論文的結果部分，僅憑它的方法來猜測數據；記下這個月發布的哪些成果在兩年後依然重要，以後再來驗證你的命中率。一次預測加上一次糾錯，重複幾百次——每一個好模型都是這樣訓練出來的，包括你腦子裡的那個。

升級你的輸入

共享的閱讀清單產生共享的想法。如果你的信息口糧只是 arXiv 的熱門榜單加上群聊篩選後剩下來的東西，你必然會跟所有人同時得出同樣的結論，這也使得這些結論幾乎一文不值。

舊資料的價值被嚴重低估了。這個領域總是延時重演自己的過去：混合專家模型（MoE）可追溯到 1991 年，LSTM 到 1997 年，反向傳播在 1986 年就成了主流。

理查德·薩頓（Rich Sutton）在 2019 年只用了一千來字就寫出了《苦澀的教訓》（The Bitter Lesson），而它對該領域發展軌跡的預測，比篇幅長它十倍的綜述還要準。克勞德·香農（Claude Shannon）在 1952 年做過一場關於創造性思維的演講，他的第一招就是把問題縮小到幾乎微不足道的程度，破解這個縮小版，然後再將難度一點一點地加回去。

單憑這一招，就能幫你撞破比任何現代生產勸告都要多的牆。

廣度和深度一樣重要。可解釋性研究毫不掩飾地借鑒了神經科學；評測（Eval）設計就是披著白大褂的機制設計；只要對 GPU 到底如何移動記憶有實際的認知，你就能在基準測試結果出來之前判斷出哪些架構論文注定會失敗；而誠實的統計學可能已經是機器學習領域最稀缺的技能了，在這裡，許多公開發表的「嚴謹」，不過是帶有誤差棒的「感覺」。

還有一件事。去讀論文本身，而不是讀總結它的帖子。附錄才是埋藏秘密的地方，而「局限性」部分通常是整篇文檔中最誠實的一段。