zophos

← Notes · 14-取消是一個值:中斷的回合,紀錄仍要完整.md

取消是一個值:中斷的回合,紀錄仍要完整

把取消當 error 往上拋,半截的回覆和已經做掉的副作用就隨 unwind 一起丟了;當成一個值,它們都留得下來

使用者按 Ctrl-C,或關掉視窗。這時模型可能正在串流回覆,或正在跑一批工具——有些已經寫了檔、跑了命令。取消要怎麼收尾,決定了「中斷」是乾淨地留下半成品,還是把已經發生的事抹掉。

最省事的寫法,是把取消當成一個 error,一路往上拋。但 error 會 unwind:串到一半的回覆、剛剛真的寫了檔的工具,全都在回溯中被丟掉。這篇講的是另一種收法——把取消當成一個正常的回傳值,於是半成品留得下來。


取消發生在哪

取消用一個「取消訊號」(cancellation token)表示,它跟每一個會卡住的 await 賽跑。一個回合裡有三個等待點,各自跟取消 select:

  • 等模型串流回應時。 一邊等下一個串流事件,一邊等取消訊號。取消先到,就把目前已經串進來的文字收成「半截回覆」,回傳。
  • 跑一批工具時。 模型一次可能要好幾個工具。跑到一半被取消——已經派出去的工具自己會對取消訊號反應(例如跑命令的工具會去殺掉子程序),還沒輪到的,直接給一個「cancelled」的結果。
  • 等壓縮的摘要時。 回合中途要壓縮的話,得先請模型把舊對話寫成摘要,輸入可能有十幾萬 token,要跑上一兩分鐘。這個點一開始漏了:按下 Ctrl+C,畫面顯示「取消中」,實際上要等摘要請求跑完才停。後來它也跟取消賽跑——壓縮在拿到摘要之前不動訊息串,所以中途丟掉這個請求是安全的。

三個點取消,結果都是一個「取消了」的回傳值,不是一個錯誤。


取消是一個值

回合函式的回傳型別,不是只有「成功/失敗」。它是一個列舉,取消是其中一個變體,而且帶著那段半截回覆:

enum 回合結果 {
    完成,
    取消 { 半截回覆: Option<訊息> },
    壓縮了 { … },
    跑完一輪工具,     // 交回外殼先存檔,再進去續跑(見 agent loop)
}

為什麼不嫌麻煩、要讓取消當值?因為 error 的語意是「出事了,往上拋、交給上層處理」——而上層處理 error 的方式是 unwind,把這一層的區域狀態(那段半截回覆)丟掉。但取消不是出事,是使用者主動喊停;半成品不該被當垃圾。把它放進回傳值,上層就能把半截回覆存進紀錄,而不是讓它靜靜消失。

這跟 agent loop 那篇的「模型的錯誤是輸入,不是例外」是同一個姿態:只有 provider 那端真的出錯才回 error;其餘都是正常結果,照常往下走。


關掉視窗不是取消

開頭把「按 Ctrl-C」和「關掉視窗」放在一起,但它們其實不一樣。Ctrl-C 是程式自己收到、自己處理的:它變成那個取消訊號,回合以一個值結束,半成品照上面的規矩存好。關掉終端機視窗則是整個 process 被結束,沒有機會回傳任何值——留得下來的,只有已經寫進磁碟的東西。

所以這一種中斷,靠的不是「取消當值」,是寫入的時機。紀錄原本要等整個回合結束才寫,回合跑到一半關掉視窗,這句 prompt 和已經做完的工具呼叫全都不在紀錄裡。後來改成 prompt 一送出就寫、每跑完一輪工具就寫,關掉視窗最多只丟正在跑的那一輪(見紀錄只 append)。


history 永遠要是一個完整的交換

provider 有一條硬規矩:每一個 tool call 一定要配一個 tool result,否則下一次請求就不合法。取消最容易踩雷的地方就在這裡——一批工具跑到一半停了,如果就這麼把半批丟出去,history 裡會留下「要了工具卻沒有結果」的破洞。

所以收法是:先把整批補成完整的交換,再檢查取消。

for 這批每一個工具 {
    if 已取消 { 結果 = 「cancelled — 還沒輪到就被中斷」}
    else      { 跑這個工具 }
    記下一對 (tool call, tool result)     // 不管哪種,都湊成一對
}
把 (整批 call, 整批 result) 當一次完整交換,推進 history
// 到這裡才檢查取消
if 已取消 { 回傳「取消了」}

順序是關鍵:取消的檢查放在整批結果都進了 history 之後。一個真的跑了、真的寫了檔的工具,它的結果不會因為同批後面某個還沒輪到就被丟掉——history 永遠是一個完整、合法的交換,連中斷的那一輪也是。

副作用已經發生了,紀錄就不能假裝沒發生。而中斷的當下,這條線最容易被一句「反正要取消了」給破壞。


中斷的回合是永久事實,但不回放

那段半截回覆最後進了 session log,成為一筆「這個回合被中斷了」的紀錄。但它跟壓縮的摘要,處理方式正好相反:

  • 壓縮的摘要會取代它涵蓋的舊訊息——之後從 log 重建對話時,舊的沒了,只剩摘要。
  • 中斷的回合在重建時整筆跳過——它是「發生過」的永久事實(所以記下來,不是悄悄 rollback),但一句沒說完的回覆,不該變成下一回合餵給模型的 context。

使用者自己那句 prompt 是另一筆正常訊息(它總是完整的);中斷紀錄只是記「那個回應怎麼了」。一邊取代、一邊跳過,差別在於:摘要是「濃縮過的過去」,要帶進未來;半截回應是「沒說完的話」,留作紀錄、但不帶進未來。

(注意這和上一節不衝突:真的跑完的工具交換,是正常 history,照常重建;這裡跳過的,只有那段沒說完的回應。)


總結

  1. 取消是一個值,不是一個錯誤。 用 error 往上拋會 unwind 掉半截回覆和已做的副作用。放進回傳列舉的一個變體(帶著半截回覆),半成品就留得下來。跟「模型的錯誤是輸入」同一個姿態——只有 provider 那端真的出錯才回 error。每一個會卡住的等待點(串流、工具、壓縮的摘要)都要跟取消賽跑,漏一個,Ctrl-C 就會「顯示取消了卻停不下來」。

  2. 一批工具補完,再檢查取消。 每一個工具都湊出一對 (call, result)(沒輪到的給「cancelled」結果),整批當一次完整交換進 history,然後才檢查取消。順序顛倒,就會把已經跑了的工具的真實結果丟掉。

  3. 中斷的回合是永久事實,但不回放。 記成一筆紀錄(跟壓縮摘要相反:摘要取代、中斷跳過),因為沒說完的回應屬於過去,不該變成未來的 context。

  4. 關掉視窗不是取消。 process 直接被結束,沒有回傳值可言,留得下來的只有已經落盤的東西——所以每一輪就寫,不要等回合結束。