zophos

← Notes · 06-截斷是給模型的介面,不只是記憶體保護.md

截斷是給模型的介面,不只是記憶體保護


四個版本各自的觸發理由

  1. v1 Vec<&str> + String:read/bash 沒有任何上限,一個大檔案就灌爆 context——上限從無到有。
  2. v2 Cow<'a, str>:沒截斷的情況(絕大多數)也在 to_string() 白白複製一份——不要多配置記憶體。
  3. v3 split/rsplit 惰性掃描:.lines().collect() 在截斷之前就建出跟輸入行數等大的指標陣列——中繼結構不能跟輸入一樣大。
  4. v4 串流 + ModelTail(只留最後 50KB 的 byte 環):read_to_string/.output() 自己就先把全部內容讀進記憶體——不能「讀完再截斷」,要「邊讀邊截斷」。

每一步都有具體、量得到的理由,也都真的解決了問題。

這條路徑教的事

跟 01 是同一種結構:四步都在同一個維度上優化——「截斷這件事,對我們自己的記憶體有多便宜」。沒有一版問過另一個維度:「模型被截斷之後,拿到的東西還能不能用、還能不能繼續往下做」。

這次回顧找到的問題,幾乎全部落在後面那個維度(Tau 是另一個 coding agent 實作,這裡拿來對照):

問題 位置 模型的處境 Tau 怎麼做
timeout Bash::call 的 select! 只看到 “command timed out”,已經收好的最後 50KB 被丟掉——命令卡在哪,正好寫在這段尾巴裡 回傳部分輸出 + 附加 “Command timed out” 狀態區塊
read 截斷 read_head 沒有 offset/limit 參數,50KB 以後永遠讀不到 提示 Use offset=2001 to continue
bash 截斷 ModelTail::finish 被淘汰的輸出永久消失 完整輸出寫進暫存檔,提示附上路徑
CRLF 檔案 Edit(程式碼註解) read 原樣交出 \r\n,edit 也拿原始 bytes 比對,兩邊一致;但 old_text 必須自己寫出 \r\n 才比對得到,少一個 \r 就失敗,而且從輸出看不出原因 normalize_to_lf 比對,restore_line_endings 寫回

現況:前兩列已經處理。bash 逾時或被 Ctrl+C 中斷時,回傳到那一刻為止收到的輸出,中斷的原因放在最後一行,也就是平常放 exit code 的位置,所以卡住的 cargo test 看得到卡在哪個測試。read 有選填的 offset(以位元組計),截斷提示寫成 showing bytes 0-51198 of 120000。結尾的數字是退回字元邊界之後實際停下的位置,可以直接當下一次的 offset,不會把一個中文字切成兩半。後兩列(bash 被淘汰的輸出、CRLF)維持原狀。

v4 在設計時已經擋下的幾個,同屬這個維度:

  • 壞掉的編碼不再讓工具失敗:decode_chunk 把不合法的 bytes 換成 �,照常往下,exit code、stderr 都還在。
  • 單行再長也有內容:讀的單位是一塊(最多 8KB),不是一行;超過 50KB 的單行留下它的結尾,不會整行消失。
  • 螢幕上有的,就是模型那份的來源:畫面和模型都從同一串輸出片段(OutputChunk)投影出來,不會「螢幕上明明有,模型卻沒看到」。

另外兩個不是 bug、但要意識到的單位錯位:

  • 每次呼叫 vs 每回合:一次 bash 最多 50KB(stdout 和 stderr 已在 OS 層合成一路,見兩條 pipe);一批 tool call 會疊加。compaction 的序列化(flatten_text)還會把 tool result 全文送給摘要模型,Pi(另一個拿來參考的 coding agent 實作)在這一步截到 2000 字元。(每一輪另有總量上限:一輪的結果加起來最多約 window 的四分之一,從中間切、頭尾都留。小 window 的本地模型上,一個 50KB 的結果就可能比整個 window 大,見換成小模型。)
  • bytes vs tokens:50KB 英文約 12k tokens,中文每字 3 bytes,約 17k tokens;很短的行(seq、ls -1)每個 byte 花的 token 更多。

stdout/stderr 合成一條、共用一份額度,靠 [stderr] 標籤保留來源、靠 stderr 保底避免錯誤被吵雜的 stdout 擠掉。順序是讀取端的到達順序,不是 child 的寫入順序;Tau 用 stderr=STDOUT 在 OS 層合成一路,換來真正的寫入順序,代價是分不出哪行是錯誤訊息。這是真的取捨,不是 bug。

後來量了才知道,到達順序和寫入順序可以差到整個 pipe 緩衝(64 KB),比整個窗口還大,這個取捨並不成立。Zophos 後來也改成 2>&1,見 兩條 pipe 沒有共同的時間線。

Tool output truncation 的首要目標,是讓模型拿到可用、可繼續的結果;記憶體與效能最佳化,應建立在這個前提之上。

如何應用

下次替任何工具輸出設上限時,依序問兩層,順序不能反:

  1. 上限對準的是不是真正要保護的那個量? 行數 vs 單行長度、每次呼叫 vs 每回合、bytes vs tokens——上限擋住的,必須是真的會爆掉的那個維度。
  2. 撞到上限之後,模型看到什麼、下一步能做什麼? 截斷提示裡有沒有出口(offset、暫存檔路徑、改用哪個指令)?失敗路徑(timeout、壞掉的編碼)是回傳「部分但可用」的結果,還是整個丟掉?

第 1 層做錯,是資源保護有破口;第 2 層做錯,是保護住了記憶體,卻讓模型卡在一個沒有出口的截斷結果前面——後者更難從測試裡看出來,因為工具「沒有壞」,只是沒有用。