換成小模型:可以變差,不能變得不能用
使用者換成比較小的模型,就已經預料輸出會變差,runtime 不必想辦法補回來。但「回答得比較差」和「每一輪都直接報錯」是兩回事,後者 runtime 要負責。
Zophos 能接 OpenAI 相容的 server,所以也能跑在自己機器上的模型:llama.cpp、Ollama、vLLM。這些模型的 context window 常常只有 8k 到 32k token,雲端的大模型則是 128k 到 200k。一個 session 也可以中途用 /provider 從大模型換到小模型。
- 壓縮:對話用量超過「window 減掉一段預留空間」時,把較舊的對話送給模型寫成摘要,換掉原文;最近的一段(「尾巴」)原封不動保留。
- 工具呼叫和它的結果不拆開:切點如果落在兩者中間,就往前退一格,讓這一對一起留在尾巴裡。只留結果、丟掉呼叫,請求會被 provider 拒絕。
原則:只保證下一個請求放得下
小 window 上會出事的地方,不是「模型看到的歷史比較少」,而是請求超過 window。超過的後果不會自己恢復:
- server 拒絕請求(llama.cpp),或默默砍掉 prompt 的開頭,連系統提示和工具定義一起砍(Ollama)。
- 被拒絕的請求不會回報用量,壓縮的門檻看不到新的數字,不會觸發。
- 之後每一輪都失敗,
/compact走的也是同一條路,session 只能放棄。
所以 Zophos 的設計是:不追求在小 window 上保留多少內容,只保證下一個請求放得下。 下面的每一個機制都是「裁到放得下為止」,沒有額外的模型請求,沒有新的狀態,也沒有新的設定。同一個大模型一路跑下去時,這些上限都不會被碰到,行為跟沒有它們時一樣。
設計
一、預留空間和尾巴依 window 縮放。
預留空間要裝得下一整個回覆,在大模型上是 64k token(Anthropic 的回覆上限是 64000);尾巴保留 20k token。現在兩者都是「常數和 window 比例取小的」:預留最多 window 的一半,尾巴最多四分之一。
- 原因:在 32k 的 window 上,固定 64k 的預留比整個 window 還大,門檻小於零,等於每一輪都要壓縮;在 8k 的 window 上,20k 的尾巴比整個 window 還大,整段對話都算「最近的」,壓縮永遠找不到可以摘要的內容。
- 128k 和 200k 算出來跟常數一樣,所以內建 provider 的行為不變。
二、每一輪工具輸出有總量上限。
每個工具結果本來就有 50 KB 的上限,大約 12k token。在 8k 的 window 上,一個 40 KB 的 read 結果就比整個 window 大。壓縮也救不了:這一對呼叫和結果是最新的內容,一定留在尾巴裡,摘要寫得再好,尾巴本身就放不下。
所以一輪所有工具結果加起來,最多 window 那麼多個位元組,約 window 的四分之一(以四個位元組算一個 token),平均分給這一輪的每個呼叫,每個最少 1 KB。超過的部分從中間切掉,頭尾都留下:讀檔看得到開頭,bash 看得到最後的 exit code。中間換成一行 [N bytes cut to fit the model's context window]。畫面上顯示的和模型收到的是同一份。
- 取捨:公式刻意維持簡單,大模型也會被切到。128k 的模型一輪讀 3 個以上、每個接近 50 KB 的檔案,每個會被切到約 42 KB;200k 的要 4 個以上才會切。
三、換到小 window 時,壓縮的輸入和尾巴都重新裁。
一個 session 在 200k 的模型上累積了約 100k token,換成 32k 的模型。這時有兩個東西放不下:
- 摘要請求本身。 壓縮把舊對話整段送給現在的模型。約 98k 的舊對話,32k 的模型收不下。
- 保留的尾巴。 每輪工具輸出的上限是照當時的 window 算的,200k 下一輪可以合法地放 200 KB。換到 32k 之後,這一對呼叫和結果還是整個留在尾巴裡。
所以壓縮時:
- 送去摘要的舊對話,先裁到「window 減預留」那麼多個位元組,用的是上面那個從中間切、頭尾都留的方式。中間的歷史直接丟掉,但留下
[N bytes cut…]的標記,摘要模型知道中間有缺口,不會以為內容是完整的。 - 保留下來的工具結果,依新 window 的每輪上限再裁一次。
- 取捨:這是刻意的有損處理。被裁掉的中段歷史不會出現在摘要裡;壓縮也是單向的,之後換回大模型,看到的仍然是壓縮後的版本(完整的原文還在 session log 裡)。
- 已知限制:尾巴裡只重裁工具結果,工具呼叫的參數和一般文字不裁。換之前的最後一輪如果是一個很大的
write,在小很多的 window 上還是可能放不下。程式碼裡用一行shortcut:註解寫明,真的遇到再處理。
沒有做的
能保留更多內容的做法都有,但都跟上面的原則衝突:它們是在替使用者「補回」小模型的損失。
| 做法 | 能得到什麼 | 為什麼不做 |
|---|---|---|
| 分段滾動摘要:每段帶著上一段的摘要送出 | 多大的歷史都能完整摘要 | 要打好幾次請求,本地模型可能要跑好幾分鐘 |
| 換之前先用舊的大模型壓縮 | 一次請求,摘要品質最好 | 舊 provider 常常已經用不了:key 存在 Linux 的 kernel keyring,開機後會清空,而「重開機後換一個 provider 接著用」正是最常見的切換情境;額度用完或服務掛了才換的情況也很多 |
| 一換 provider 就立刻壓縮 | 不會在下一次送出時才突然等很久 | 觸發條件本來就有,差別只在時機,多一條路徑 |
| 每個 provider 各有一份對話的視圖 | 換回大模型時拿回完整的 context | 要改 session log 的格式和 replay |
怎麼確認放得下
測試用的假 provider 會像真的 server 一樣,拒絕超過自己 window 的請求。一個什麼都收的假 server 測不出「放不下」的 bug;讓它挑剔,等於替每一個 harness 測試都加了一條「每個請求都要放得下」的檢查。
另有一個測試專門測切換:先在 200k 下跑兩輪,每輪一個 150 KB 的結果,然後換到 8k,再跑一輪,要能正常完成。兩個重裁的機制各自關掉時,這個測試都會失敗。
目前這些只有假 provider 的測試,還沒拿真的本地模型實際切換過。
總結
-
「變差」是使用者的選擇,「不能用」是 runtime 的 bug。 換小模型會丟掉多少內容,不必補;但下一個請求一定要放得下,否則 session 就死了。
-
把常數寫成 window 的比例,至少要設上限。 64k 的預留和 20k 的尾巴在 200k 上合理,在 8k 上一個讓每輪都壓縮、一個讓壓縮永遠不觸發。
-
「不拆對」這類規則,隱含了「這一對放得下」。 規則本身沒錯,但它會讓一個過大的結果永遠留在尾巴裡。所以上限要加在結果進入對話之前,而且換 window 時要照新的 window 重算。
-
失敗不回報用量,所以靠用量觸發的保護會被鎖死。 一旦超過 window,就再也拿不到觸發壓縮的那個數字。保護必須在送出之前就保證放得下。
-
測試的假物件要會拒絕。 一個什麼都收的假 server,測不出「放不下」。