Source: https://eisoptric.com/zh/lilith
English: https://eisoptric.com/lilith.md
Built: 2026-11-20

Lilith · 模型

# Lilith 

從頭訓練的小型語言模型，連同訓練過程的每一步一起釋出，讓它們如何學習可以被研究，而不是被猜測。

**準備中:** 目前還沒有任何 Lilith 模型完成訓練或釋出。這一頁說明的是我們正在打造的東西。

> 她說出了那不可言說之名，便飛入空中而去。

— 據《便西拉字母書》

## 名字的由來。

> כשברא הקב״ה אדם הראשון יחיד, אמר לא טוב היות האדם לבדו, ברא לו אשה מן האדמה כמוהו וקראה לילית, מיד התחילו מתגרין זה בזה … אמרה לו שנינו שוין לפי ששנינו מאדמה, ולא היו שומעין זה לזה, כיון שראתה לילית אמרה שם המפורש ופרחה באויר העולם, עמד אדם בתפלה לפני קונו ואמר, רבש״ע אשה שנתת לי ברחה ממני, מיד שגר הקב״ה שלשה מלאכים הללו אחריה להחזירה … עזבו אותה והלכו אחריה והשיגוה בתוך הים במים עזים שעתידין המצריים לטבוע בו וספרוה דבר ה' ולא רצתה לחזור …

[《便西拉字母書》，據 Otzar Midrashim（紐約，1915）所載希伯來文原文](https://www.sefaria.org/Otzar_Midrashim%2C_The_Aleph_Bet_of_ben_Sira%2C_The_Alphabet_of_ben_Sira%2C_(alternative_version).34)

## Lilith 與 Lilim。

我們借用的是這個意象，而不是這份信仰。模型從資料裡學到了沒有人寫下的東西，並依此行動。Lilith 是那個知道隱藏之名的模型；Eisoptric 的工作，是讀懂那個名字，並讓模型的行為留在人所訂的規則之內。

一條主線，以及為了對照比較而打造的較小手足。

### Lilith

主線：我們從頭預訓練的語言模型，訓練流程保持簡單，好讓它可以重來。

### Lilim

名字取自後來傳統中 Lilith 的孩子：每個 Lilith 模型的較小手足，一次只改變一件事（大小、隨機種子或資料順序），讓每一個改變都能和另一個比較。

## 每個模型會一起釋出什麼。

-   I
    
    ### 每一個 checkpoint
    
    在整個訓練過程中密集保存，越早期越密集，因為許多能力正是在那時第一次出現。
    
-   II
    
    ### 確切的資料順序
    
    模型在每一步看過哪些 token，讓行為的改變可以追溯回它當時在學什麼。
    
-   III
    
    ### 程式碼與設定
    
    訓練程式碼、超參數與環境，足以把同一個模型再訓練一次。
    
-   IV
    
    ### 研究筆記
    
    一路上量測到的東西：跨 checkpoint 的評測、跑過的探針，以及沒有成功的部分。
    

## 為什麼是小模型。

Lilith 不會是前沿等級的模型，也不打算是。小模型可以訓練很多次、在每一步被檢視，並且一次只改變一個條件來比較。

研究模型如何學習，需要的正是這些；而這些，正是前沿規模的訓練給不了的。

## 從第一個 checkpoint 開始追蹤 Lilith。

訓練進度、模型釋出與研究筆記都會在 GitHub 上公告。

[Eisoptric 的 GitHub](https://github.com/Eisoptric) [聯絡我們](mailto:hello@eisoptric.com)
