研究

我們研究什麼,以及發表什麼。

Eisoptric 的研究在問:模型是怎麼學會它知道的東西,又在使用這些知識時計算了什麼。下面是我們正在研究的問題,以及答案站得住腳之後發表的筆記。

研究方向。

每一條研究主線圍繞的問題。隨著我們學到更多,它們也會改變。

I

預訓練動態

一項能力在第 0 步不存在,在訓練結束時存在。我們想知道中間發生了什麼。

  • 能力在哪些 checkpoint 出現?轉變是漸進還是突然的?
  • 能力出現時,網路的哪些部分改變了?是哪些資料造成的?
  • 在不同模型大小與隨機種子下,會形成相同的機制嗎?
II

可解釋性

分數只說明模型做得到某件事,沒有說明它怎麼做到。所以我們看進去。

  • 哪些特徵與電路承載了某個行為?用激活值修補與稀疏自編碼器來量測。
  • 每一個發現都經得起與隨機對照比較的因果檢驗嗎?
  • 一個解釋能說明多少行為,又遺漏了什麼?
III

Agent 監督

一旦模型透過工具行動,它被允許做什麼,就跟它能做什麼一樣重要。

  • 哪些工具呼叫規則能擋下有害動作,又不擋下有用的工作?
  • 哪些動作該由人核准?核准時需要看到哪些脈絡?
  • Agent 的行為要留下什麼樣的紀錄,事後才足以重建並判斷?

我們自己的模型。

要看一項能力如何形成,訓練的每一步都必須攤在我們眼前。所以我們訓練自己的小型模型,也就是 Lilith 系列,並會隨每個模型釋出所有 checkpoint、資料順序與程式碼。

準備中認識 Lilith →

研究筆記。

已發表的筆記會依時間由新到舊列在這裡。

撰寫中

目前還沒有發表任何筆記。

第一批筆記正在撰寫中。之後這裡會列出每篇筆記的日期、標題與一句話摘要。

每篇筆記都包含什麼。

  • I

    問題

    我們想找到什麼,以及動手之前抱持的假說。

  • II

    方法

    模型、checkpoint、資料與確切的程式碼,讓結果可以重現。

  • III

    證據

    數字、數字背後的樣本,以及用來對照的控制組。

  • IV

    限制

    哪些沒有成功、結果沒有證明什麼;寫錯的地方會公開更正。

想在筆記發表時收到通知?

在 GitHub 上追蹤 Eisoptric,或寫信給我們。