壓縮:別重複量測 provider 已經數好的 context
context 有多大,provider 每次回應都精確回報了;繞著它重估、重算、補丁,只是把一個已知的事實又做一遍
對話一長就會塞爆模型的 context window。標準解法是壓縮:把舊的對話摘要成一段文字、留住最近幾則原文,然後繼續。agent loop 那篇把這件事推給「另一個題目」,這篇就是它。
但重點不在「怎麼摘要」——那很直接——而在壓縮長出來的一堆機制,怎麼被第一性原理一路削回去。這段是從一連串「這個還需要嗎」的追問蒸餾出來的。最後,整個「判斷何時壓、壓多少」的預算面只剩三樣東西:一個記錄最後用量的欄位、一行門檻判斷、一個決定切在哪裡的函式。中間拆掉的——額外的估算、為它做的最佳化、各種補丁——幾乎都是同一種錯。
但其中一刀砍錯了。有一個估算後來又加了回來,因為它量的根本不是一個已知的事實——最後一節記這段。
壓縮的形狀
迴圈每個回合開頭先問一句:context 過線了嗎?過線就先摘要,沒過就照常送訊息、跑工具。
每回合開頭:
if 目前大小 > 門檻 {
把舊訊息摘成一段 summary、留住最近的 tail
回報「壓縮了」,交給外層存檔,然後被再呼叫一次續跑
}
送訊息給模型 → 跑它要的工具 → 餵回去
一個細節值得記:壓縮發生在回合中途。它怎麼把結果傳出去?不是丟 error、也不是偷偷塞一個欄位等人來拿,而是讓「跑一個回合」的函式回傳一個結果列舉,其中一個變體就是「壓縮了,這是 summary 和保留下來的 tail」。這個「把繞路的狀態變成一個回傳的形狀」的招,介面的減法講過,這裡不重複。
形狀就這麼小。難的是別在上面堆東西。
預算是一個事實:provider 自己會數
「context 現在多大」是一個數字。而且你根本不用自己估——provider 每次回應都在 usage 欄位裡精確回報了 token 總數(它就是拿這個數字跟你收錢的)。把最後一次回報的值存起來,門檻判斷就一行:
最後回報的用量 > context 視窗大小 − 預留的 headroom
但我們一度繞著這個現成的數字,另外重做了兩次量測。
重估一:顯示用的估算。 狀態列要顯示「context: ~N tokens」,於是另外寫了一個函式:把每則訊息攤平後的位元組數除以四、加總,估出整段大小。但狀態列只在回合結束時更新——而回合一結束,最後一次回應剛好把當前的精確用量報回來了。provider 已經給了準的,我們卻在旁邊算一個不準的。砍掉估算,顯示直接讀那個回報值。
重估二:把「這一輪剛加的」也估進去。 門檻判斷在送出下一個請求前做,而這一輪可能剛接上一批工具結果,provider 還沒計價到。於是門檻一度是「最後回報值 + 估算這批新內容」。但那個 headroom 本來就是為此而設:晚一輪,還沒計價的內容就坐在 headroom 裡,下一次回報自然涵蓋。而單筆工具輸出本身有上限(50 KB,約一萬多 token),壓在 headroom 之內——「晚一輪由 headroom 吸收」正是它存在的目的。所以這個「估算新內容」重複量測了一個 buffer 已經涵蓋的東西。砍掉,門檻只看最後回報值。(這一刀後來證明砍錯了,見最後一節。)
這兩個重估一消失,「我們估的大小」和「provider 報的用量」就合成同一個事實。門檻讀它、顯示讀它;除了決定切點,系統裡不再有第二套 context 大小。
最佳化是對熱路徑的賭注
估算每則大小,要先算「一則訊息攤平成純文字後有多少位元組」。最直接的寫法是 to_string() 再取長度,但那會配置一個其實用不到的字串。於是做了個零配置版本:用一個只累加長度、什麼都不存的 writer 接上訊息的 Display,不實際生成字串就拿到位元組數。實測 2.5 倍,很漂亮。
然後——前一節說的——那個「顯示用的估算」被砍了,顯示改讀 provider 的回報值。這一下,這個零配置長度函式唯一的呼叫者,只剩「決定切點」那條路;而切點只在壓縮時算(壓縮本身就是一次慢的 provider 呼叫)。那條 2.5 倍的熱路徑消失了。
一個最佳化是對「某條路很熱」下的賭注。路一旦冷掉,最佳化就從資產變成要維護的死重。
所以那個零配置函式、它的計數器型別、它的守衛測試,全部拿掉,切點改回樸素的 to_string().len()——冷路徑配一下字串無所謂。
縮放也放錯了地方。原本每則都「位元組 ÷ 4」換算成 token,再跟 token 預算比。但「÷ 4」是個單調縮放,N 則除 N 次,不如反過來把預算乘以 4 一次:切點函式直接累加原始位元組,跟「保留預算 × 4」比。這樣連「把一則換算成 token」這個中間抽象都不用了——那個換算,在門檻上做一次就夠。
補丁的誘惑
剩下兩塊,是為「不會發生、或沒量過的事」加的補丁。
每則的下限。 估算一度是「4 + 位元組 / 4」——那個 +4 是每則訊息的下限,怕很短的訊息(像工具回 "ok",3 bytes,除四變 0 token)被估成零、讓切點保留過多。但一算就知道:它要對「保留約兩萬 token」造成影響,得有幾千上萬則小訊息疊加才行;真實對話每則都幾百 token,+4 是噪音。為一個不會發生的規模加的補丁,砍掉。
增量更新摘要。 第二次以後的壓縮,最前面還躺著上一次的 summary。一度有一套機制:把它認出來、抽出來,用一個「請更新這份既有摘要」的 prompt 餵回去,而不是把它當普通內容重摘——為了避免「摘要的摘要」逐次退化。但這套「認舊摘要、算偏移、分兩種 prompt」的記帳,佔了壓縮函式大半的分支,而「退化到底多嚴重」是沒量過的(結構化的 checkpoint 格式本就抗退化,多數對話也壓縮不了幾次)。拿掉,一律當內容重摘。壓縮函式收到只剩本質:找切點、組 transcript、要摘要、換掉舊的。
還有一種補丁是 config。 「最多幾回合」「預留多少 headroom」「保留多少近期內容」一度都是讀環境變數的旋鈕,但沒人真的每次執行去設——那是投機的彈性,變成常數就好。「context 視窗大小」更有意思:它該隨模型變,但環境變數是錯的解法(一個平的 128k 會讓每個模型都提早壓縮);正解是讓 provider 抽象自己報(Anthropic 200k、Gemini 1M)。所以不是「砍掉配置」,是把假配置變常數、把真配置接到它真正的來源。
Gemini 的 1M 後來也拿掉了,回到保守的預設 128k。同一個 Gemini API 底下也有 window 小得多的模型(例如透過它提供的 Gemma,約 128k):報 1M 的話,壓縮要到九十幾萬 token 才觸發,請求早在超過真實 window 時就失敗了。部分 Pro 型號超過 200k 之後單價還會變高,就算 window 真有 1M,等到快滿才壓縮也很貴。報大和報小不對稱:報小只是早一點壓縮,報大會讓 session 卡死。所以拿不準時寧可報小——Anthropic 現在仍報 200k,對 window 已經是 1M 的新模型來說也只是保守。
砍錯的那一刀
「晚一輪由 headroom 吸收」這個論證有兩個洞,後來一次程式審查把它們挖了出來。
上限是每個工具的,不是每一輪的。 每個工具的輸出各有 50 KB 上限,但模型一次可以要好幾個工具,一輪加起來的量沒有上限。審查舉的例子:128k 的模型、context 已經到 105k,模型一口氣讀了 4 個大檔,這一輪多出約五萬 token——遠超過當時 16k 的 headroom。
估少了,後果不會自己恢復。 下一個請求超過 window,provider 直接拒絕。被拒絕的請求不會回報用量,所以「最後回報的用量」永遠停在 105k,門檻永遠不過線,壓縮永遠不觸發——之後每一個請求都失敗,只能手動壓縮或重開 session。
headroom 也不是空著等這批內容的:它同時要裝下下一次的回覆。後來回覆的長度上限調到 64000 token(模型的思考內容也算在裡面),headroom 也跟著調到 64k,它首先得裝下一整個回覆。
現在的數字:headroom 是「64k 和 window 的一半取小的」,保留不摘要的近期內容最多是 window 的四分之一,所以 8k–32k 的本地模型也能跑。每一輪的工具輸出另有總量上限,約 window 的四分之一,一輪加起來的量是有上限的。下面那個估算仍然保留:上限保證一輪放得下,估算讓門檻及時看到它。見換成小模型。
所以那個估算加回來了:每一輪工具跑完,把這批結果的位元組數除以四,直接加到「最後回報的用量」那個欄位上,讓門檻在送出下一個請求之前就看得到它們。下一次 provider 回報,就整個換成準的數字。它不是第二套大小,只是幫同一個欄位補上 provider 還沒數到的那一段。
同一種洞還有一個,是在問「重開 session 之後 context 會不會歸零」時發現的。接回一個舊 session 時,provider 上次回報的數字沒有存下來,起點是 0:狀態列空白,門檻也要等第一輪回來才開始判斷;如果上次結束時已經接近上限,第一個請求就可能直接超過。這裡也補了同一個估算:把讀回的整段對話位元組數除以四,當成起點。
為什麼不乾脆把 provider 的數字存起來?因為離開時才寫不可靠(直接關終端機、當機,都不會走到那段程式);已經存在的舊 session 裡沒有這個數字,估算還是得留著當備案;換了 provider,tokenizer 不同,存下來的數字一樣不準。而這個估算只少算了系統提示和工具定義,誤差在 headroom 之內,第一輪回來就被換掉。
所以錯在哪?「別重複量測已經知道的事」本身沒錯,錯在把還沒量到的東西當成已經知道。最後一次回報之後新增的內容,provider 根本還沒數過——補上估算不是重複量測,是唯一的量測。當時的理由是「反正有 headroom 兜著」,但那個上界只在「一輪一個工具」時成立;而一旦兜不住,失敗的方式是卡死、不會自己恢復。
估少的代價不可恢復時,那個上界得真的成立,不能只是通常成立。
總結
-
context 預算以 provider 的回報為準,估算只補它還沒數到的。 存一個欄位記最後回報的用量,門檻一行比較,狀態列也直接讀它。只有兩段 provider 還沒數過——這一輪剛接上的工具結果、剛接回的舊 session——在那裡用「位元組 ÷ 4」補進同一個欄位,下一次回報就整個蓋掉。
-
最佳化是對熱路徑的賭注。 那個 2.5 倍的零配置長度,在熱路徑移走後就成死重;路冷了,把最佳化也還掉。而每元素的縮放(÷ 4)該搬到門檻(× 4)做一次。
-
補丁多半是為不會發生、或沒量過的事加的。 每則下限(為幾萬則小訊息)、增量更新摘要(為沒量過的退化)——砍掉,留本質路徑。
-
假配置是常數,真配置接到來源。 沒人改的環境變數旋鈕變成 const;該隨模型變的 context 視窗接到 provider 抽象。拿不準時寧可報小:報小只是早點壓縮,報大會卡死。
-
壓縮的控制流是個形狀,不是個 stash。 壓縮在回合中途發生,靠回合函式回傳一個「壓縮了」的結果傳出去(見介面的減法)。
-
估少的代價不可恢復時,上界要真的成立。 「晚一輪由 headroom 吸收」只在一輪一個工具時成立;一批工具就超過,而請求一被拒,用量就永遠不再更新、壓縮永遠不觸發。那一刀砍錯了,估算加了回來。