zophos

← Notes · 30-換 provider 時,對話紀錄要帶得過去:中立格式與私有欄位.md

換 provider 時,對話紀錄要帶得過去:中立格式與私有欄位

在 session 中途換一家模型,對話紀錄得原封不動地接到另一家去。紀錄是一份中立的格式,各家各自翻譯——但裡面總有只有一家看得懂的東西,也有我們自己編出來的東西。前者要帶著走、讓各家自己挑;後者要在每一家都合法,而不只是在產生它的那一家。

Zophos 可以在一個 session 中途用 /provider 換模型:前半段用 Gemini,後半段換成 Anthropic,對話接著往下走。這代表同一份對話紀錄,要能被三家 provider 讀懂。

做法本身不難:紀錄存成一份跟任何一家都無關的中立格式,每次送出請求時,由那一家的程式把它翻成自己的格式(見 Provider 演變)。難的是邊緣:中立格式裡的東西,換一家之後還成立嗎?


一份中立的紀錄,三種寫法

中立的一則訊息,只有兩種身分——使用者、助手——和幾種內容區塊:文字、工具呼叫、工具結果、模型的思考。

三家對同一件事的寫法各不相同:

  • 工具結果放在哪。 Anthropic 和 Gemini 都把它當成一則「使用者」訊息的內容,所以中立格式也這樣放。OpenAI 則把每個工具呼叫、每個工具結果都當成獨立的一項,跟訊息並列;它的翻譯程式自己拆開。
  • 助手叫什麼。 Gemini 把助手那一方叫 model,不叫 assistant。身分在中立格式裡是一個只有兩個值的列舉,翻譯時對應過去;它一度是隨手寫的字串,後來才改成列舉。

這些差異都關在各家的翻譯程式裡,紀錄本身不用改。換一家,只是換一個翻譯的人。


只有一家看得懂的東西:帶著走,讓各家自己挑

有些內容,從頭到尾只有一家看得懂:

  • Anthropic 的思考區塊。 模型在回覆裡附上它的推理,通常是一段加密過、人看不懂的字串,要求下一次請求原封不動送回去,模型才接得上自己剛才的推理。
  • Gemini 的思考簽章。 新一代 Gemini 在工具呼叫上附一個不透明的簽章,同樣要原封不動送回去。

換到別家時,這些東西怎麼辦?一個選擇是「換家時轉換掉」:把對方看不懂的刪掉。我們選的是另一個:它們留在中立紀錄裡,每一家的翻譯程式自己挑看得懂的送,看不懂的跳過。 OpenAI 和 Gemini 的翻譯程式碰到 Anthropic 的思考區塊,各只有一行「跳過」;Anthropic 和 OpenAI 碰到 Gemini 的簽章,直接不讀那個欄位。

這樣做的好處是紀錄永遠完整:換到 Gemini 再換回 Anthropic,那些推理還在,不會因為中途經過一家看不懂的就被丟掉。在中立格式裡,Gemini 的簽章是工具呼叫上一個「可以沒有」的欄位——有審查說它對其他 provider 是多餘的。但「某一家才需要的回放資料」本來就該長這樣:用不到的一家不讀它就好,不需要任何判斷。

(同一家換模型時,Anthropic 的文件說得更直接:思考區塊照樣送,目前的模型讀不了的,API 會自己丟掉,不計費。)


自己編的東西,要在每一家都合法

工具呼叫和工具結果靠一個 id 配對。Anthropic 和 OpenAI 都會給 id,Gemini 很少給——它自己是靠工具的名字(和順序)把結果對回呼叫的。所以 Gemini 那邊的 id 是我們編的,而這個 id 經過了三個版本:

  1. 直接用工具名當 id。 Gemini 很常在同一個回覆裡呼叫兩次 read,兩個 id 都是 read。
  2. 工具名加一個序號:read_1、read_2。 但序號每次串流都從頭算——同一個回合裡,第一輪的 read 是 read_1,第二輪的 read 又是 read_1。
  3. 工具名加「這次串流開始的時間」再加序號。 跨輪、跨回合、跨重開都不會重複。

前兩個版本在 Gemini 自己身上完全不會出事:Gemini 按名字對結果,根本不看 id。問題只在換家之後出現:Anthropic 和 OpenAI 按 id 配對,同一份紀錄裡出現兩個一樣的 id,請求就不合法——而且這不是一次性的失敗,是之後每一個請求都失敗,那個 session 就再也不能換到別家繼續了。

所以一個自己產生、寫進共用紀錄的值,標準不是「產生它的那一家接受」,而是最嚴格的那一家也接受。前兩個版本都只通過了第一個標準。

(「Anthropic 會拒絕重複的 id」是照它的規則推論的,沒有用真實的 API 驗證過。)


工具定義也要過得去

不只對話紀錄,每次請求附上的工具定義也要讓三家都接受。工具的參數格式用 JSON Schema 描述;Anthropic 和 OpenAI 照收,Gemini 只接受其中一個子集,看到不認識的欄位就整個請求拒絕。內建工具的定義很樸素,沒事;但 MCP server 給的工具定義常帶著 $schema、additionalProperties 或自家的延伸欄位——接上一個這樣的 server,Gemini 的每個請求都會失敗。

修法放在 Gemini 的翻譯程式裡:送出前把定義遞迴地過濾成它接受的子集,順便把「型別可以是字串或 null」這種寫法改成它要的單一型別加「可為空」。其他兩家照原樣送。


換家之後,數字的意義也換了

最後是兩個不在紀錄裡、但跟著 provider 走的數字:

  • context window。 每家報自己的大小(Anthropic 200k,OpenAI 和 Gemini 目前用保守的預設 128k,OpenAI 相容的 server 用使用者加入時給的大小),壓縮的門檻每一步都重新問現在這一家。一份在 Anthropic 那邊還沒過線的紀錄,換到另一家,下一個請求前就會先壓縮。換到 window 小很多的一家時,光是壓縮還不夠:送去摘要的舊對話、保留下來的工具結果,都要再裁到新的 window 放得下,見換成小模型。
  • 上一次回報的用量。 那是上一家用它自己的 tokenizer 數的,換家後只是近似值;下一次新 provider 回報,就被準的數字蓋掉(見壓縮)。

session 的紀錄裡也會多一筆「之後改用哪個 provider、哪個模型」,事後看得出哪一段是誰寫的(見紀錄只 append)。


總結

  1. 紀錄是中立格式,翻譯關在各家。 身分、工具結果的位置、助手的名字,各家寫法不同,都由各自的翻譯程式處理;紀錄本身不隨 provider 改。

  2. 只有一家看得懂的東西,帶著走、讓各家自己挑。 思考區塊和簽章留在中立紀錄裡,看不懂的翻譯程式跳過它們。換來換去,紀錄都是完整的。

  3. 自己編進共用紀錄的值,要讓最嚴格的那一家接受。 Gemini 的 id 在 Gemini 身上怎麼重複都沒事,換到按 id 配對的一家就讓整個 session 壞掉。標準是「每一家都合法」,不是「產生它的那一家合法」。

  4. 工具定義也要過三家。 Gemini 只吃 JSON Schema 的子集,在它的翻譯程式裡過濾;其他家照原樣送。

  5. 跟著 provider 走的數字,每一步都重新問。 context window 每一步問現在這一家;上一家數的用量只是近似,下一次回報就被換掉。