截斷是給模型的介面,不只是記憶體保護
四個版本各自的觸發理由
- v1
Vec<&str>+String:read/bash沒有任何上限,一個大檔案就灌爆 context——上限從無到有。 - v2
Cow<'a, str>:沒截斷的情況(絕大多數)也在to_string()白白複製一份——不要多配置記憶體。 - v3
split/rsplit惰性掃描:.lines().collect()在截斷之前就建出跟輸入行數等大的指標陣列——中繼結構不能跟輸入一樣大。 - v4 串流 +
ModelTail(只留最後 50KB 的 byte 環):read_to_string/.output()自己就先把全部內容讀進記憶體——不能「讀完再截斷」,要「邊讀邊截斷」。
每一步都有具體、量得到的理由,也都真的解決了問題。
這條路徑教的事
跟 01 是同一種結構:四步都在同一個維度上優化——「截斷這件事,對我們自己的記憶體有多便宜」。沒有一版問過另一個維度:「模型被截斷之後,拿到的東西還能不能用、還能不能繼續往下做」。
這次回顧找到的問題,幾乎全部落在後面那個維度(Tau 是另一個 coding agent 實作,這裡拿來對照):
| 問題 | 位置 | 模型的處境 | Tau 怎麼做 |
|---|---|---|---|
| timeout | Bash::call 的 select! |
只看到 “command timed out”,已經收好的最後 50KB 被丟掉——命令卡在哪,正好寫在這段尾巴裡 | 回傳部分輸出 + 附加 “Command timed out” 狀態區塊 |
read 截斷 |
read_head |
沒有 offset/limit 參數,50KB 以後永遠讀不到 | 提示 Use offset=2001 to continue |
bash 截斷 |
ModelTail::finish |
被淘汰的輸出永久消失 | 完整輸出寫進暫存檔,提示附上路徑 |
| CRLF 檔案 | Edit(程式碼註解) |
read 原樣交出 \r\n,edit 也拿原始 bytes 比對,兩邊一致;但 old_text 必須自己寫出 \r\n 才比對得到,少一個 \r 就失敗,而且從輸出看不出原因 |
normalize_to_lf 比對,restore_line_endings 寫回 |
現況:前兩列已經處理。
bash逾時或被 Ctrl+C 中斷時,回傳到那一刻為止收到的輸出,中斷的原因放在最後一行,也就是平常放 exit code 的位置,所以卡住的cargo test看得到卡在哪個測試。read有選填的offset(以位元組計),截斷提示寫成showing bytes 0-51198 of 120000。結尾的數字是退回字元邊界之後實際停下的位置,可以直接當下一次的offset,不會把一個中文字切成兩半。後兩列(bash被淘汰的輸出、CRLF)維持原狀。
v4 在設計時已經擋下的幾個,同屬這個維度:
- 壞掉的編碼不再讓工具失敗:
decode_chunk把不合法的 bytes 換成�,照常往下,exit code、stderr 都還在。 - 單行再長也有內容:讀的單位是一塊(最多 8KB),不是一行;超過 50KB 的單行留下它的結尾,不會整行消失。
- 螢幕上有的,就是模型那份的來源:畫面和模型都從同一串輸出片段(
OutputChunk)投影出來,不會「螢幕上明明有,模型卻沒看到」。
另外兩個不是 bug、但要意識到的單位錯位:
- 每次呼叫 vs 每回合:一次
bash最多 50KB(stdout 和 stderr 已在 OS 層合成一路,見兩條 pipe);一批 tool call 會疊加。compaction 的序列化(flatten_text)還會把 tool result 全文送給摘要模型,Pi(另一個拿來參考的 coding agent 實作)在這一步截到 2000 字元。(每一輪另有總量上限:一輪的結果加起來最多約 window 的四分之一,從中間切、頭尾都留。小 window 的本地模型上,一個 50KB 的結果就可能比整個 window 大,見換成小模型。) - bytes vs tokens:50KB 英文約 12k tokens,中文每字 3 bytes,約 17k tokens;很短的行(
seq、ls -1)每個 byte 花的 token 更多。
stdout/stderr 合成一條、共用一份額度,靠 [stderr] 標籤保留來源、靠 stderr 保底避免錯誤被吵雜的 stdout 擠掉。順序是讀取端的到達順序,不是 child 的寫入順序;Tau 用 stderr=STDOUT 在 OS 層合成一路,換來真正的寫入順序,代價是分不出哪行是錯誤訊息。這是真的取捨,不是 bug。
後來量了才知道,到達順序和寫入順序可以差到整個 pipe 緩衝(64 KB),比整個窗口還大,這個取捨並不成立。Zophos 後來也改成
2>&1,見 兩條 pipe 沒有共同的時間線。
Tool output truncation 的首要目標,是讓模型拿到可用、可繼續的結果;記憶體與效能最佳化,應建立在這個前提之上。
如何應用
下次替任何工具輸出設上限時,依序問兩層,順序不能反:
- 上限對準的是不是真正要保護的那個量? 行數 vs 單行長度、每次呼叫 vs 每回合、bytes vs tokens——上限擋住的,必須是真的會爆掉的那個維度。
- 撞到上限之後,模型看到什麼、下一步能做什麼? 截斷提示裡有沒有出口(offset、暫存檔路徑、改用哪個指令)?失敗路徑(timeout、壞掉的編碼)是回傳「部分但可用」的結果,還是整個丟掉?
第 1 層做錯,是資源保護有破口;第 2 層做錯,是保護住了記憶體,卻讓模型卡在一個沒有出口的截斷結果前面——後者更難從測試裡看出來,因為工具「沒有壞」,只是沒有用。