zophos

← Notes · 33-換成小模型:可以變差,不能變得不能用.md

換成小模型:可以變差,不能變得不能用

使用者換成比較小的模型,就已經預料輸出會變差,runtime 不必想辦法補回來。但「回答得比較差」和「每一輪都直接報錯」是兩回事,後者 runtime 要負責。

Zophos 能接 OpenAI 相容的 server,所以也能跑在自己機器上的模型:llama.cpp、Ollama、vLLM。這些模型的 context window 常常只有 8k 到 32k token,雲端的大模型則是 128k 到 200k。一個 session 也可以中途用 /provider 從大模型換到小模型。

先講兩個背景,壓縮和壓縮的邊界有詳細說明:

  • 壓縮:對話用量超過「window 減掉一段預留空間」時,把較舊的對話送給模型寫成摘要,換掉原文;最近的一段(「尾巴」)原封不動保留。
  • 工具呼叫和它的結果不拆開:切點如果落在兩者中間,就往前退一格,讓這一對一起留在尾巴裡。只留結果、丟掉呼叫,請求會被 provider 拒絕。

原則:只保證下一個請求放得下

小 window 上會出事的地方,不是「模型看到的歷史比較少」,而是請求超過 window。超過的後果不會自己恢復:

  1. server 拒絕請求(llama.cpp),或默默砍掉 prompt 的開頭,連系統提示和工具定義一起砍(Ollama)。
  2. 被拒絕的請求不會回報用量,壓縮的門檻看不到新的數字,不會觸發。
  3. 之後每一輪都失敗,/compact 走的也是同一條路,session 只能放棄。

所以 Zophos 的設計是:不追求在小 window 上保留多少內容,只保證下一個請求放得下。 下面的每一個機制都是「裁到放得下為止」,沒有額外的模型請求,沒有新的狀態,也沒有新的設定。同一個大模型一路跑下去時,這些上限都不會被碰到,行為跟沒有它們時一樣。


設計

一、預留空間和尾巴依 window 縮放。

預留空間要裝得下一整個回覆,在大模型上是 64k token(Anthropic 的回覆上限是 64000);尾巴保留 20k token。現在兩者都是「常數和 window 比例取小的」:預留最多 window 的一半,尾巴最多四分之一。

  • 原因:在 32k 的 window 上,固定 64k 的預留比整個 window 還大,門檻小於零,等於每一輪都要壓縮;在 8k 的 window 上,20k 的尾巴比整個 window 還大,整段對話都算「最近的」,壓縮永遠找不到可以摘要的內容。
  • 128k 和 200k 算出來跟常數一樣,所以內建 provider 的行為不變。

二、每一輪工具輸出有總量上限。

每個工具結果本來就有 50 KB 的上限,大約 12k token。在 8k 的 window 上,一個 40 KB 的 read 結果就比整個 window 大。壓縮也救不了:這一對呼叫和結果是最新的內容,一定留在尾巴裡,摘要寫得再好,尾巴本身就放不下。

所以一輪所有工具結果加起來,最多 window 那麼多個位元組,約 window 的四分之一(以四個位元組算一個 token),平均分給這一輪的每個呼叫,每個最少 1 KB。超過的部分從中間切掉,頭尾都留下:讀檔看得到開頭,bash 看得到最後的 exit code。中間換成一行 [N bytes cut to fit the model's context window]。畫面上顯示的和模型收到的是同一份。

  • 取捨:公式刻意維持簡單,大模型也會被切到。128k 的模型一輪讀 3 個以上、每個接近 50 KB 的檔案,每個會被切到約 42 KB;200k 的要 4 個以上才會切。

三、換到小 window 時,壓縮的輸入和尾巴都重新裁。

一個 session 在 200k 的模型上累積了約 100k token,換成 32k 的模型。這時有兩個東西放不下:

  • 摘要請求本身。 壓縮把舊對話整段送給現在的模型。約 98k 的舊對話,32k 的模型收不下。
  • 保留的尾巴。 每輪工具輸出的上限是照當時的 window 算的,200k 下一輪可以合法地放 200 KB。換到 32k 之後,這一對呼叫和結果還是整個留在尾巴裡。

所以壓縮時:

  1. 送去摘要的舊對話,先裁到「window 減預留」那麼多個位元組,用的是上面那個從中間切、頭尾都留的方式。中間的歷史直接丟掉,但留下 [N bytes cut…] 的標記,摘要模型知道中間有缺口,不會以為內容是完整的。
  2. 保留下來的工具結果,依新 window 的每輪上限再裁一次。
  • 取捨:這是刻意的有損處理。被裁掉的中段歷史不會出現在摘要裡;壓縮也是單向的,之後換回大模型,看到的仍然是壓縮後的版本(完整的原文還在 session log 裡)。
  • 已知限制:尾巴裡只重裁工具結果,工具呼叫的參數和一般文字不裁。換之前的最後一輪如果是一個很大的 write,在小很多的 window 上還是可能放不下。程式碼裡用一行 shortcut: 註解寫明,真的遇到再處理。

沒有做的

能保留更多內容的做法都有,但都跟上面的原則衝突:它們是在替使用者「補回」小模型的損失。

做法 能得到什麼 為什麼不做
分段滾動摘要:每段帶著上一段的摘要送出 多大的歷史都能完整摘要 要打好幾次請求,本地模型可能要跑好幾分鐘
換之前先用舊的大模型壓縮 一次請求,摘要品質最好 舊 provider 常常已經用不了:key 存在 Linux 的 kernel keyring,開機後會清空,而「重開機後換一個 provider 接著用」正是最常見的切換情境;額度用完或服務掛了才換的情況也很多
一換 provider 就立刻壓縮 不會在下一次送出時才突然等很久 觸發條件本來就有,差別只在時機,多一條路徑
每個 provider 各有一份對話的視圖 換回大模型時拿回完整的 context 要改 session log 的格式和 replay

怎麼確認放得下

測試用的假 provider 會像真的 server 一樣,拒絕超過自己 window 的請求。一個什麼都收的假 server 測不出「放不下」的 bug;讓它挑剔,等於替每一個 harness 測試都加了一條「每個請求都要放得下」的檢查。

另有一個測試專門測切換:先在 200k 下跑兩輪,每輪一個 150 KB 的結果,然後換到 8k,再跑一輪,要能正常完成。兩個重裁的機制各自關掉時,這個測試都會失敗。

目前這些只有假 provider 的測試,還沒拿真的本地模型實際切換過。


總結

  1. 「變差」是使用者的選擇,「不能用」是 runtime 的 bug。 換小模型會丟掉多少內容,不必補;但下一個請求一定要放得下,否則 session 就死了。

  2. 把常數寫成 window 的比例,至少要設上限。 64k 的預留和 20k 的尾巴在 200k 上合理,在 8k 上一個讓每輪都壓縮、一個讓壓縮永遠不觸發。

  3. 「不拆對」這類規則,隱含了「這一對放得下」。 規則本身沒錯,但它會讓一個過大的結果永遠留在尾巴裡。所以上限要加在結果進入對話之前,而且換 window 時要照新的 window 重算。

  4. 失敗不回報用量,所以靠用量觸發的保護會被鎖死。 一旦超過 window,就再也拿不到觸發壓縮的那個數字。保護必須在送出之前就保證放得下。

  5. 測試的假物件要會拒絕。 一個什麼都收的假 server,測不出「放不下」。