zophos

← Notes · 31-兩次審查、兩個相反的結論:沒報錯的設定只能靠量測確認.md

兩次審查、兩個相反的結論:沒報錯的設定只能靠量測確認

一個沒生效的設定不會報錯,它只會讓你多付錢、慢一點。同一行快取設定,兩次程式審查給了相反的判決,程式碼也跟著改了兩次——而能判斷誰對的那個數字,API 每次回應都附上了,兩次都沒有人去看。

一個 coding agent 每一輪都要把整段對話重新送給模型:上一輪的訊息、工具的結果、系統提示、工具定義,全部再送一次。對話越長,每一輪的輸入就越貴。

Anthropic 提供 prompt 快取:同樣的開頭(prefix)上一次送過,這一次就從快取讀,價錢大約是原價的十分之一,也比較快。但它不會自己開,要在請求裡用 cache_control 要求。有兩種要法:

  • 自動:在請求最外層放一個 cache_control,API 自己把快取點放在最後一個能放的區塊上,對話變長就跟著往後移。
  • 手動:把 cache_control 放在指定的內容區塊上,自己決定快取點在哪。

這篇不是講快取怎麼用,是講 Zophos 的這一行設定,怎麼被兩次審查改來改去。


第一次:加上去

第一次審查發現 Zophos 完全沒開快取:一個十輪的回合、十萬 token 的對話,就是一百萬 token 的全價輸入。建議只要一行:在請求最外層加 cache_control,也就是自動快取。

這次審查在下判斷之前,先查了 Anthropic 的 API 文件,問的就是「不在區塊上標記,有沒有請求層級的自動快取」。查完才建議,照著改了。


第二次:「它被靜默忽略了」

隔天另一次審查,把同一行列成第一優先的必修項目:

Anthropic 沒有請求層級的 cache_control 參數。快取要放在內容區塊裡才會生效;放在請求最外層,API 直接忽略。所以快取從來沒開過,每一輪都按全價計費。

說得很確定。這次審查沒有查文件。修法是把快取點改放在「最後一則訊息的最後一個區塊」上,系統提示也改成可以帶快取點的區塊形式;程式碼的註解寫下了「請求層級的會被靜默忽略」。照著改了。


誰對

第一次對。Anthropic 的文件寫得很清楚:請求最外層的 cache_control 就是自動快取,API 會把快取點放在最後一個能放的區塊上。原本那一行一直在正常快取。

這次沒有造成實際損害——改過之後的手動標記一樣有效,系統提示上那個快取點甚至是文件推薦的組合的一半。損害在別處:

  • 一個錯的說法被寫進了程式碼。 註解寫著「請求層級的會被靜默忽略」,下一個讀到的人會照著相信。(後來改掉了。)
  • 一個錯的診斷,被當成第一優先的事實執行。 標成必修、說得很確定,但沒有任何依據——沒查文件,也沒量。

兩次都沒做的那件事

快取有沒有生效,不用猜。Anthropic 每一次回應都附上用量,裡面分開列著:

  • cache_creation_input_tokens:這次寫進快取的量。
  • cache_read_input_tokens:這次從快取讀的量。

連續兩個請求,第二個的「讀」是 0,快取就沒生效;不是 0,就有。文件自己也說:要確認快取,看這個欄位。

兩次審查都在讀程式碼,讀的是同一行,結論相反。程式碼回答不了這個問題,因為這個設定「沒生效」的時候,程式碼看起來跟「有生效」一模一樣——它不報錯。能回答的只有量測,而量測已經在每一次回應裡了。

更諷刺的是:Zophos 其實每一次都收到了這兩個數字。為了判斷要不要壓縮,它把「一般輸入」「寫進快取」「從快取讀」三個數字加成一個總和,然後只留總和。能證明快取有沒有生效的證據,每一輪都被收到、然後被加掉了。


沒驗證的部分

現在的寫法,依文件是有效的。但它跟前兩次一樣,還沒有量過。最簡單的確認方式,是在某個地方把「從快取讀了多少」單獨顯示出來,跑兩輪看它是不是大於零。


總結

  1. 沒報錯的設定,讀程式碼判斷不了。 一個沒生效的快取設定,程式碼看起來跟生效的一樣;兩次審查讀同一行、結論相反,就是這個原因。

  2. 能判斷的是量測,而量測常常已經在手上。 API 每次回應都列出寫進和讀出快取的量;看「讀」是不是 0,就知道設定有沒有生效。

  3. 說得再確定的診斷,沒有依據就不是事實。 第一次查了文件才建議,是對的;第二次沒查、標成必修,是錯的,還被寫進了程式碼的註解。改之前,先查來源或先量。

  4. 為一個用途加總數字時,小心加掉別的證據。 壓縮只需要總和,但總和把「快取有沒有生效」的唯一證據也一起抹掉了。