Eisoptric · 獨立 AI 研究計劃

模型如何學會東西?它的內部在算什麼?

Eisoptric 是一個獨立研究計劃。我們研究能力在模型預訓練時如何形成,以及訓練好的網路內部實際上在計算什麼。研究需要的工具我們自己打造,並釋出給所有人使用。

我們正在研究的問題

  • 一項能力在預訓練的哪個階段出現?它出現時,網路內部改變了什麼?
  • 哪些內部特徵與電路承載了某個行為?它們經得起與隨機對照比較的因果檢驗嗎?
  • 一個會自己行動的模型,要怎麼讓它留在人訂的規則之內,並留下它做了什麼的紀錄?

我們研究什麼。

三條研究主線,從網路如何形成,到它開始行動後如何表現。

預訓練動態

能力如何在各個 checkpoint 之間浮現:何時出現、由哪些資料驅動,以及出現時權重與激活值發生了什麼變化。

可解釋性

訓練好的網路在計算什麼:特徵、電路與支持它們的因果證據,而且一律對照控制組來讀。

Agent 監督

透過工具行動的模型:如何讓它的行為留在明確的規則之內,必要時由人把關,背後留有審計紀錄。

模型 準備中

Lilith。

我們從頭訓練的小型語言模型,連同訓練過程的每一步一起釋出,讓模型如何學習可以被研究,而不是被猜測。

認識 Lilith

研究筆記 撰寫中

第一批筆記正在撰寫中。

目前還沒有發表任何筆記。發表後會出現在這裡與研究頁,並附上可重現結果的程式碼。

看研究方向

我們怎麼做研究。

開放
我們的工具開源或免費,研究紀錄是一般檔案,每篇筆記都會附上背後的程式碼。
嚴謹看待證據
只比較用相同方式量測的執行,每個因果結果都對照隨機控制組,並保留每個數字背後的樣本。
誠實面對限制
我們會說出沒有找到什麼、工具無法強制什麼;筆記寫錯了,就公開更正。

關於 Eisoptric

Eisoptric 是什麼?
Eisoptric 是由 Rick Weng 創立並經營的小型獨立 AI 研究計劃。我們研究能力如何在預訓練中形成、訓練好的模型內部在計算什麼,以及如何讓透過工具行動的模型留在人的監督之下。
誰在經營 Eisoptric?
Rick Weng。他在台灣創立了這個計劃,目前也是唯一的研究者。Eisoptric 不隸屬於任何公司或大學。
研究計劃為什麼要發行軟體?
因為研究需要。Eisoptric Workbench 是我們做實驗與可解釋性分析的工作台;Eisoptric MCP 是我們讓 Agent 自主行動之前需要的 Gateway。它們在我們自己的研究之外也有用,所以我們把它們釋出。
工具是免費的嗎?
是的。Eisoptric Workbench 與 Eisoptric MCP 都免費,每個帳號都有全部功能。Eisoptric Workbench 以 Apache License 2.0 授權開源。
研究成果在哪裡?
第一批筆記正在撰寫中。發表後會放在研究頁,每篇都附上問題、方法、程式碼與資料。
可以合作或提問嗎?
可以。請寄信到 hello@eisoptric.com,或在 GitHub 上開 issue。

追蹤我們的研究。

研究筆記與工具發行都會在 GitHub 上公告。有問題或想合作,歡迎來信。