預訓練動態
能力如何在各個 checkpoint 之間浮現:何時出現、由哪些資料驅動,以及出現時權重與激活值發生了什麼變化。
Eisoptric · 獨立 AI 研究計劃
Eisoptric 是一個獨立研究計劃。我們研究能力在模型預訓練時如何形成,以及訓練好的網路內部實際上在計算什麼。研究需要的工具我們自己打造,並釋出給所有人使用。
三條研究主線,從網路如何形成,到它開始行動後如何表現。
能力如何在各個 checkpoint 之間浮現:何時出現、由哪些資料驅動,以及出現時權重與激活值發生了什麼變化。
訓練好的網路在計算什麼:特徵、電路與支持它們的因果證據,而且一律對照控制組來讀。
透過工具行動的模型:如何讓它的行為留在明確的規則之內,必要時由人把關,背後留有審計紀錄。
我們做工具,是因為研究需要。當一個工具在我們自己的研究之外也有用,我們就把它釋出。兩者皆免費。