壓縮的邊界:摘要舊的,近期留原文,工具不拆對
摘要是有損的,只配給遙遠的過去;當下要動手的近期狀態得逐字留。而切點有一條不能碰的線——一個工具的呼叫和它的結果,不能被切開。
壓縮那篇講「何時壓」——context 過線了就壓。這篇講另一半:壓的時候,切在哪、留什麼。壓縮把對話從某一點切開:之前的摘要成一段,之後的原封不動留著。這一刀切在哪,有講究。
為甚麼不整段摘要
最省事的做法,是把整段對話摘成一段、全部換掉。但摘要本質是有損的——它是壓縮過的回憶,不是原文。
問題在於:模型的下一步,是建立在最近發生的事情上。剛剛寫的那段 code、剛看到的錯誤、使用者最後那句精確的指令——這些如果被摘成「使用者想修一下 parser」,模型下一回合就無從精確接手。
所以切成兩段:遙遠的過去摘要掉(用來回想大局),最近的一段原文留著(用來動手)。摘要負責「記得發生過什麼」,原文負責「接著做什麼」。這兩件事不一樣,所以壓縮不是「全部摘要」,是「摘舊的、留近期」。
切點:從尾巴往回數
那「近期」留多少?定一個預算(例如最近約兩萬 token 的量)。從對話的尾巴往回數,一則一則把大小加起來,數到夠了,那裡就是切點:切點之後原文留著,之前的摘要掉。(怎麼量一則的大小,是壓縮那篇的題目。)
這一步本身很直接。真正要小心的,是切點正好落在哪一則。
有一條不能切的線:一對工具
模型呼叫一個工具,會配一個工具結果——在對話裡,這兩則是相鄰的一對。而 provider 有條硬規矩:每一個 tool call 一定要配一個 tool result,否則下一次請求就不合法。
於是切點踩雷的情況是:切點正好落在一則「工具結果」上,而它的「工具呼叫」在前一則——也就是被切進了要摘要掉的那半。這樣一來,留下來的近期那段,開頭就是一個沒有呼叫的孤兒工具結果,送出去就是個不合法的請求。
解法:切點退一格,把整對都留在近期裡。順帶一提,退一格的方向是「留得比要求的稍微多一點」,而不是少——偏安全的那邊。
從尾巴往回數到切點
if 切點那則是「工具結果」,且前一則是它的「工具呼叫」{
切點往回退一格 // 整對一起留,別留孤兒
}
同一條規矩,兩個地方
「每一個工具呼叫都要配一個結果」這條線,不只壓縮會踩。取消那篇裡,一批工具跑到一半被取消,也是靠「沒輪到的工具也補一個 cancelled 結果,湊成完整的一對,再收尾」來守同一條線。
一個是壓縮切對話、一個是取消切回合,但守的是同一個不變式:history 裡每一個工具呼叫,永遠配著它的結果。 一旦破了,下一次請求就不合法——這是 agent loop 裡少數「不能用近似糊弄」的硬界線。
接在摘要後面:留原文,但不是全部留
切完之後,對話變成「摘要 + 保留的原文」。這個新開頭還有兩件事要對。
摘要用使用者的身分送。 摘要是模型寫的,直覺上該是一則 assistant 訊息。但它會變成對話的第一則,而 Anthropic 的文件把「第一則是 assistant」列為錯誤。所以摘要包成一則 user 訊息,開頭寫明「前面的對話已經壓縮成以下摘要」。
保留的原文裡,模型的思考要拿掉。 Anthropic 的模型會在回覆裡附上它的「思考」區塊——多半是一段看不懂的加密字串——要求下一次請求原封不動送回去,模型才接得上自己剛才的推理。但這些區塊是接著完整的歷史產生的,而且一個接一個串在一起;前面換成摘要之後,它們接的東西就不在了。所以壓縮時把保留段裡的思考區塊拿掉,文字和工具呼叫照留。
(退一格那條規則也因此改了一個細節:判斷「前一則是不是工具呼叫」時,不能只看那則訊息的第一個區塊,因為思考區塊會排在工具呼叫前面。)
總結
-
摘舊的,留近期原文。 摘要有損,只配給遙遠的過去;當下要動手的近期狀態(剛寫的 code、最後的指令)得逐字留。壓縮不是「全摘」,是「摘前綴、留 tail」。
-
切點從尾巴往回數。 定一個「留多少近期」的預算,從尾巴累加到夠,那裡就是切點。
-
別切斷一對工具。 切點正好落在工具結果上、它的呼叫在前半,留下的 tail 就會以孤兒結果開頭,請求不合法。切點退一格,整對一起留(順便偏「留多一點」的安全邊)。
-
這是同一條硬界線。 「工具呼叫必配結果」在壓縮的切點和取消的批次收尾都要守——agent loop 裡不能用近似糊弄的少數地方之一。
-
新開頭要合 provider 的規矩。 摘要以 user 身分送(對話不能以 assistant 開頭);保留原文裡的思考區塊拿掉,因為它們接的完整歷史已經換成了摘要。