Source: https://eisoptric.com/zh/research
English: https://eisoptric.com/research.md
Built: 2026-11-20

研究

# 我們研究什麼，以及發表什麼。

Eisoptric 的研究在問：模型是怎麼學會它知道的東西，又在使用這些知識時計算了什麼。下面是我們正在研究的問題，以及答案站得住腳之後發表的筆記。

## 研究方向。

每一條研究主線圍繞的問題。隨著我們學到更多，它們也會改變。

I

### 預訓練動態

一項能力在第 0 步不存在，在訓練結束時存在。我們想知道中間發生了什麼。

-   能力在哪些 checkpoint 出現？轉變是漸進還是突然的？
-   能力出現時，網路的哪些部分改變了？是哪些資料造成的？
-   在不同模型大小與隨機種子下，會形成相同的機制嗎？

II

### 可解釋性

分數只說明模型做得到某件事，沒有說明它怎麼做到。所以我們看進去。

-   哪些特徵與電路承載了某個行為？用激活值修補與稀疏自編碼器來量測。
-   每一個發現都經得起與隨機對照比較的因果檢驗嗎？
-   一個解釋能說明多少行為，又遺漏了什麼？

III

### Agent 監督

一旦模型透過工具行動，它被允許做什麼，就跟它能做什麼一樣重要。

-   哪些工具呼叫規則能擋下有害動作，又不擋下有用的工作？
-   哪些動作該由人核准？核准時需要看到哪些脈絡？
-   Agent 的行為要留下什麼樣的紀錄，事後才足以重建並判斷？

## 我們自己的模型。

要看一項能力如何形成，訓練的每一步都必須攤在我們眼前。所以我們訓練自己的小型模型，也就是 Lilith 系列，並會隨每個模型釋出所有 checkpoint、資料順序與程式碼。

**準備中:** [認識 Lilith →](https://eisoptric.com/zh/lilith)

## 研究筆記。

已發表的筆記會依時間由新到舊列在這裡。

**撰寫中:**

### 目前還沒有發表任何筆記。

第一批筆記正在撰寫中。之後這裡會列出每篇筆記的日期、標題與一句話摘要。

## 每篇筆記都包含什麼。

-   I
    
    ### 問題
    
    我們想找到什麼，以及動手之前抱持的假說。
    
-   II
    
    ### 方法
    
    模型、checkpoint、資料與確切的程式碼，讓結果可以重現。
    
-   III
    
    ### 證據
    
    數字、數字背後的樣本，以及用來對照的控制組。
    
-   IV
    
    ### 限制
    
    哪些沒有成功、結果沒有證明什麼；寫錯的地方會公開更正。
    

## 想在筆記發表時收到通知？

在 GitHub 上追蹤 Eisoptric，或寫信給我們。

[Eisoptric 的 GitHub](https://github.com/Eisoptric) [聯絡我們](mailto:hello@eisoptric.com)
