預訓練動態
一項能力在第 0 步不存在,在訓練結束時存在。我們想知道中間發生了什麼。
- 能力在哪些 checkpoint 出現?轉變是漸進還是突然的?
- 能力出現時,網路的哪些部分改變了?是哪些資料造成的?
- 在不同模型大小與隨機種子下,會形成相同的機制嗎?
研究
Eisoptric 的研究在問:模型是怎麼學會它知道的東西,又在使用這些知識時計算了什麼。下面是我們正在研究的問題,以及答案站得住腳之後發表的筆記。
每一條研究主線圍繞的問題。隨著我們學到更多,它們也會改變。
一項能力在第 0 步不存在,在訓練結束時存在。我們想知道中間發生了什麼。
分數只說明模型做得到某件事,沒有說明它怎麼做到。所以我們看進去。
一旦模型透過工具行動,它被允許做什麼,就跟它能做什麼一樣重要。
已發表的筆記會依時間由新到舊列在這裡。
第一批筆記正在撰寫中。之後這裡會列出每篇筆記的日期、標題與一句話摘要。
我們想找到什麼,以及動手之前抱持的假說。
模型、checkpoint、資料與確切的程式碼,讓結果可以重現。
數字、數字背後的樣本,以及用來對照的控制組。
哪些沒有成功、結果沒有證明什麼;寫錯的地方會公開更正。