zophos

← Notes · 29-沒說完的回覆,看起來跟說完的一樣:完成要有明確的結束訊號.md

沒說完的回覆,看起來跟說完的一樣:完成要有明確的結束訊號

串流斷在半路、碰到輸出上限、被模型拒絕——在 HTTP 那一層,這些全都是 200。如果「串流結束了」就算「回覆完成了」,半截的答案會被存成完整的答案,模型下一輪就建立在它上面。完成不能靠推斷,要等 provider 明確說「我講完了,而且是正常講完的」。

一個 coding agent 收模型的回覆,是一段串流:文字一塊一塊進來,工具呼叫的參數一段一段拼起來,最後串流關閉。最省事的判斷是「串流關了 = 回覆完成了」,把收到的東西整個推進對話紀錄,然後決定要不要跑工具、要不要結束這個回合。

這個判斷錯在:串流關閉不代表回覆完成。 它只代表「不會再有東西進來了」。為什麼不會再有東西,有好幾種原因,其中大部分都不是「模型正常講完了」。

這篇的幾個修正,是在幾輪不同的程式審查裡陸續找到的,每一次修一家 provider、一種情況。回頭看,它們全是同一件事。


看起來一樣的幾種結束

這些情況,在 HTTP 狀態碼上全都是 200,串流也都是「正常關閉」:

  • 串到一半出錯。 伺服器過載、連線中斷,provider 在串流裡送一個錯誤事件,或乾脆直接斷掉。
  • 碰到輸出上限。 回覆寫到請求裡設定的長度上限,被切斷。如果切在一個工具呼叫的參數中間,參數是半截的 JSON。
  • 被模型拒絕。 新一代模型的安全機制拒答時,不回錯誤碼,而是正常回一個空的回覆,在欄位裡註明「拒絕」。
  • 被內容過濾擋下、工具呼叫格式壞掉——同樣是一個正常結束的串流,只是結束的原因不對。

如果只看「串流關了沒」,這些全都會被當成「完成」:

  • 半截的文字被存成一個完整的答案。模型下一輪讀到它,以為自己已經講完,接著往下做。
  • 參數只有一半的工具呼叫被執行。當時的做法是參數解析不了就當成空的 {},工具回「缺少參數」,模型重試同一個呼叫——又在同一個上限被切斷,一直燒到回合上限。
  • 拒答的那一輪什麼都不顯示就結束了。使用者等了半天,不知道發生什麼事。

修正:預設是「沒講完」

修法的形狀很簡單,三家 provider 都一樣:串流的轉換程式預設回合沒有完成,只有看到明確的結束訊號,而且結束原因是「正常結束」,才算完成。

for 每一個串流事件 {
    …轉成內部事件…
    if 這是「正常結束」的訊號 { 送出「完成」; return }
    if 這是錯誤 / 拒絕 / 被截斷 { 送出「錯誤:原因」; return }
}
// 串流關了,卻沒看到結束訊號
送出「錯誤:串流在結束前就斷了」

關鍵是迴圈後面那一行。原本那裡是「送出完成」——也就是「沒有別的消息,就當作好消息」。改成「送出錯誤」之後,任何沒想到的結束方式,都會落到「沒講完」那一邊。

而 agent loop 那一端,對「錯誤」的處理是:這一輪失敗,半截的回覆不進對話紀錄。 這跟取消是同一條規則——一句沒說完的話,不該變成下一輪的 context。


三家 provider,三種「講完了」

麻煩在於,「正常結束」的訊號,每一家長得都不一樣:

  • Anthropic 有一個明確的「訊息結束」事件,停止原因放在它前面的一個增量事件裡。停止原因是「碰到長度上限」或「拒絕」就是錯誤,拒絕的話把它附的類別和說明一起顯示出來;其他原因(正常講完、要呼叫工具)再等到「訊息結束」才算完成。沒等到「訊息結束」事件就斷掉,也是錯誤。
  • OpenAI 有「回應完成」、「回應未完成」、「回應失敗」三種收尾事件,外加一個不屬於任何回應的串流層錯誤事件。只有「回應完成」算完成。「未完成」沒有錯誤訊息,原因(輸出上限、內容過濾)放在另一個欄位,要從那裡讀出來顯示。
  • Gemini 沒有結束事件。它的最後一塊會帶一個「結束原因」欄位,串流關閉時沒看過這個欄位,就是被切斷了。而且欄位有值也不夠:只有值是 STOP 才算正常結束,MAX_TOKENS、SAFETY、MALFORMED_FUNCTION_CALL 都是提早停下。另外,回覆可能完全沒有內容(被擋下、或模型自己弄壞了工具呼叫),原因只寫在這些欄位裡,要把它讀出來,不然那一輪就是一片空白。

三種協定,同一條規則。每一家的轉換程式各自負責把「自己的講完了」翻成同一個內部的「完成」,其他一律翻成「錯誤」——agent loop 不需要知道任何一家的細節(見兩種事件詞彙)。


它是一個一個被找到的

這條規則不是一次寫對的,也不是一開始就這樣想的。它是幾輪審查各找到一角,然後才看出是同一件事:

  1. 串流中途出錯,半截回覆被存成答案。 第一個被找到的。修成「串流出錯,這一輪就失敗」。同一輪還找到一個幫兇:整個請求原本有 300 秒的總時限,一個長回覆(一萬多 token,每秒幾十個)就會被時限切在半路——再配上前一個 bug,切斷的半截被存成完整答案。總時限改成「連線 30 秒、兩次資料之間最多閒置 300 秒」:只要還有資料在流,就不會被切。工具參數被截斷時也從「當成 {} 執行」改成回報錯誤。
  2. 沒看到結束事件,也送出「完成」。 OpenAI 的串流層錯誤事件沒被處理,落進「其他事件、忽略」,最後照樣送出完成;Anthropic 沒等到「訊息結束」也一樣。這一條在更早的一次審查裡被判斷成「找不到具體會觸發的情境」——直到有人指出 OpenAI 那個錯誤事件就是情境。
  3. 結束了,但原因不對。 Anthropic 的拒答和長度上限、OpenAI「未完成」的原因、Gemini 除了 STOP 以外的結束原因,各在不同輪被補上。

每一次都只修了一家、一種情況,因為每一次看到的都是一個具體的 bug。如果第一次就把它想成「完成要有明確的訊號」,三家會一起修掉。

「沒有壞消息」不等於「好消息」。一個可能半途而廢的過程,完成要靠它自己明確地說,不能靠你沒聽到它說出了事。


沒驗證的部分

Gemini 那條規則建立在一個沒有用真實 API 確認過的前提上:模型回傳工具呼叫時,結束原因也是 STOP。如果不是,每一個 Gemini 的工具呼叫都會被當成錯誤——這種錯會很快被看到,但它目前還是一個推論,不是量測。


總結

  1. 串流關閉不等於回覆完成。 出錯、碰到上限、被拒絕、被過濾,在 HTTP 層全是 200、串流全是正常關閉。

  2. 預設是「沒講完」。 轉換程式只有在看到明確的結束訊號、而且原因是正常結束時才送出「完成」;串流關了卻沒看到訊號,就是錯誤。任何沒想到的結束方式,都落在安全的那一邊。

  3. 沒講完的那一輪失敗,半截回覆不進紀錄。 跟取消同一條規則:沒說完的話,不變成下一輪的 context。被截斷的工具呼叫回報錯誤,不用空參數硬跑。

  4. 每家的「講完了」不一樣,翻成同一個。 Anthropic 看訊息結束事件和停止原因,OpenAI 看三種收尾事件,Gemini 沒有結束事件、只看最後的結束原因而且只認 STOP。各家自己翻,agent loop 只看到「完成」或「錯誤」。

  5. 一個個 bug 背後,常常是同一條沒寫下來的規則。 這幾個修正分散在幾輪審查裡,每次一家;早一點把它認成「完成要有明確訊號」,就能一次修完。