Eisoptric Workbench · 開源 · 來自 Eisoptric 研究的工具

在你自己的電腦上做 AI 研究的工作台。

讀懂方法、親手寫程式、執行實驗並讀過每一個樣本。Eisoptric 圍繞你的問題、模型、實驗與發現來組織,而不是圍繞對話;研究助理可以做多少,由你決定。

預覽版,以 Apache 2.0 授權。目前的版本都尚未簽署:macOS 第一次開啟時請到「系統設定 → 隱私權與安全性」允許;Windows 出現 SmartScreen 警告時,請按「其他資訊 → 仍要執行」。搭配本機模型可離線使用。

Eisoptric Workbench 的「實驗」畫面:五個 Pythia-160m 檢查點的 IOI 平均準確率,從 step 1k 的 0.37 到 step 143k 的 0.96
真實截圖。在 Eisoptric Workbench 中對五個 Pythia-160m 檢查點各跑 200 個間接受詞辨識提示;假說在你判定之前維持未判定。
01

是你的研究,不是一串對話

問題、假說、程式、執行、樣本與結論各有位置。重新開啟專案時,首頁會告訴你工作停在哪裡、還有什麼沒決定。

02

你的電腦,你的模型

Runtime 只監聽 127.0.0.1,紀錄是你讀得懂的檔案,送出的每個請求都在網路紀錄裡。可使用 API 金鑰、你的 Claude 或 ChatGPT 方案,或離線模型。

03

English 與繁體中文

整個介面提供英文與繁體中文。Eisoptric 會跟隨系統語言,也可以在設定中選擇。

十個畫面,圍繞同一個專案。

每個畫面負責工作的一部分,而每個畫面上的研究助理都知道你正在哪一個畫面。截圖為示範專案。

  • Eisoptric Workbench 的「首頁」畫面(示範專案)

    首頁

    工作停在哪裡、上次看過之後有什麼改變,以及還有什麼需要你決定。

  • Eisoptric Workbench 的「工作區」畫面(示範專案)

    工作區

    你的程式碼,下方是執行、花費、樣本、發現與終端機。筆記本以儲存格開啟。

  • Eisoptric Workbench 的「譜系」畫面(示範專案)

    譜系

    檢查點與它們微調出的分支,沿著這條線追蹤分數。

  • Eisoptric Workbench 的「實驗」畫面(示範專案)

    實驗

    凍結的版本、執行與分數,以及會告訴你何時比較不公平的比較。

  • Eisoptric Workbench 的「樣本」畫面(示範專案)

    樣本

    同一個樣本在所有看過它的模型上的表現,評分器的判斷就在你的標註旁邊,並保留反例。

  • Eisoptric Workbench 的「資料」畫面(示範專案)

    資料

    實驗讀取的每個檔案、凍結後是否改變,以及兩個檔案共有的資料列。

  • Eisoptric Workbench 的「檢視」畫面(示範專案)

    檢視

    每一層的激活值、對照隨機控制組的修補,以及稀疏自編碼器特徵。

  • Eisoptric Workbench 的「任務」畫面(示範專案)

    任務

    放在獨立 worktree 的長時間工作:可以動到什麼、它的差異,然後合併或捨棄。

  • Eisoptric Workbench 的「防護」畫面(示範專案)

    防護

    拒絕與無法解釋的變更集中在一處,以及每個後端能強制的範圍。

  • Eisoptric Workbench 的「環境」畫面(示範專案)

    環境

    執行所用的 Python、套件與裝置,可安裝的套件組,以及遠端執行用的 SSH 主機。

研究助理做多少,由你決定。

每個對話都有一個模式,在研究助理名稱旁選擇。四種模式下,判定、標註、鎖定與合併都由你決定。

  1. Ask

    程式由你寫。研究助理只讀與解釋:一個錯誤、一處變更、一個讓你自己打的修正。

  2. Approve

    研究助理提出變更,每一項變更或指令都等你核准。

  3. Auto

    研究助理在對話中直接處理專案本身,遇到敏感操作前會先問你。

  4. Agent

    研究助理直接處理專案,不再詢問。要分開進行的工作,會交給獨立 worktree 裡的任務。

模式與鎖定是工作流程上的約束,不是安全邊界:任務中的 shell 仍可能寫入鎖定的檔案,Eisoptric 會在事後記錄在「防護」畫面。

從一個問題,到站得住腳的結論。

Eisoptric 把你問了什麼、跑了什麼、量到什麼、得出什麼結論放在一起,數字永遠不會和它的來源分開。

01 / 首頁與工作區

程式碼就在結果旁邊

  • 寫下問題與假說;執行結束只代表它跑完了,判定由你來做
  • 程式編輯器下方就是執行、花費、樣本、你的發現與終端機
  • 筆記本以儲存格開啟,可以編輯與執行,並保留輸出與錯誤追蹤
  • 重新開啟時,會恢復檔案、未儲存的草稿與你正在看的執行

02 / 實驗

會告訴你何時不公平的比較

  • 把實驗凍結成版本,設定或環境一改就成為新版本
  • 只有量測方式相同的執行會畫在同一張圖上;其他的另列,並說明哪裡不同
  • 看兩次執行或兩個模型之間的進步、退步、缺少的樣本與各類別分組
  • 分數拆成評分器判斷的、你有異議的,以及因錯誤排除的部分

03 / 樣本與資料

從每個角度讀一個樣本,也知道讀了哪些資料

  • 看同一個樣本在所有看過它的模型上的表現,評分器的判斷就在你的標註旁邊
  • 標註不會改動分數;可衡量你和評分器有多一致,並保留反例
  • 「資料」畫面列出實驗讀取的每個檔案、凍結後是否改變,以及測試資料被讀過幾次
  • 計算兩個檔案共有的資料列,找出切分之間外洩的完全重複資料

04 / 檢視

看進模型內部

  • 讀取每一層的激活值,或在每一層、每個位置把乾淨提示詞修補進被破壞的提示詞
  • 每個修補結果都對照隨機控制組來讀
  • 透過 SAELens 發行版或本機資料夾的稀疏自編碼器讀取一層,並顯示它重建提示詞的程度
  • 把圖表、分析 JSON 與筆記本快照連同雜湊值保存在檢視工作階段旁

05 / 遠端執行與既有結果

帶著你已經有的成果進來

  • 在你自己的 SSH 主機上執行凍結的實驗,關掉 Eisoptric 之後再重新連上;主機金鑰會經過檢查
  • 匯入 JSONL、JSON、CSV 或 TSV 結果並自行對應欄位;匯入的結果會被標記,也不會給出它撐不起的信賴區間
  • Trainer 狀態會以訓練指標匯入,和評測結果分開
  • 匯出包含樣本、標註、指標與報告的研究包,在別的專案匯入時不會覆蓋不同的證據

06 / 研究助理與任務

熟悉工作台的幫手,長時間工作另外進行

  • 研究助理在每個畫面都在(⌘J),也知道每個畫面的用途
  • 問它怎麼做某件事,它會一步步帶你,框出每個位置,由你動手
  • 它可以用你看到的同一套紀錄完成一項研究:問題、實驗、執行、樣本與發現
  • 它可以把長時間工作交給獨立 git worktree 裡的任務;審閱差異後再合併或捨棄

07 / 防護

清楚說明能強制什麼

  • Ask 對話只讀,Approve 對話在每次變更或指令前都會詢問,檔案工具一律無法寫入鎖定的檔案
  • 代理只能在你授權的資料夾中工作,每次編輯都有檢查點,可以還原
  • 拒絕與無法解釋的變更集中在一個畫面,等你決定
  • Runtime 送出的每個 HTTP 請求都在你可以讀的網路紀錄裡

08 / 資源與環境

一次執行花了多少,又跑在什麼上面

  • 時間、處理器使用率、記憶體、nvidia-smi 能回報的 GPU,以及樣本產生的速度
  • 執行所用的 Python、套件與裝置,鎖定檔的雜湊值會隨版本一起凍結
  • Eisoptric 可以建立環境,並可選擇加裝可解釋性、後訓練、分析或筆記本套件組
  • 你的程式有回報時,也會顯示 token 與裝置記憶體

你的紀錄就是一般檔案。

專案的問題、實驗、執行、標註與發現都放在它自己的 .workbench/research 資料夾。可以直接讀、比較差異,和程式碼一起提交。

my-project/
├─ probe.py
└─ .workbench/research/
   ├─ questions/
   ├─ hypotheses/
   ├─ experiments/
   ├─ versions/
   ├─ models/
   ├─ runs/<id>/samples.jsonl
   ├─ labels/
   ├─ counterexamples/
   └─ findings/

專案的研究紀錄,就在程式碼旁邊。

系統需求

  • 平台

    Apple silicon 的 macOS 12 以上,以及 x64 的 Windows 10 以上。

  • 模型

    用你的 API 金鑰使用 Anthropic、OpenAI、Google 與 DeepSeek;用你的 Claude 方案使用 Claude Code;用你的 ChatGPT 方案使用 Codex;用 LM Studio 使用本機離線模型。

  • 遠端執行

    任何你能透過 SSH 連上的 Linux 或 macOS 主機,並安裝相同版本的 Eisoptric。

  • 資料

    研究紀錄在專案的 .workbench/research 資料夾。App 資料在 ~/.workbench-app。API 金鑰加密儲存,金鑰放在 macOS 鑰匙圈或 Windows 認證管理員。

  • 語言

    English 與繁體中文。

  • 授權

    Apache License 2.0。著作權人 Rick Weng。

公開開發。

Eisoptric Workbench 對所有人免費。下載它、為儲存庫加星、開 issue,或送出 pull request。