兩條 pipe 沒有共同的時間線:合併 stdout 與 stderr
只有同一條 stream 裡的順序是真的
09 的第四版,bash 把 stdout、stderr 兩條 pipe 交錯放進一個 50 KB 的窗口,stderr 的行帶標籤,另留 4 KB 保底。
現在的寫法
// Bash::call:stderr 不再是自己的 pipe
builder.arg("-c").arg(command).stdin(Stdio::null()).stdout(Stdio::piped());
unsafe {
builder.pre_exec(|| {
// fd 2 接到 fd 1 的 pipe,也就是 2>&1
// pre_exec 在 std 設好 fd 0-2 之後才跑;dup2 跟 setsid 一樣是 async-signal-safe
if libc::setsid() == -1 || libc::dup2(1, 2) == -1 {
return Err(std::io::Error::last_os_error());
}
Ok(())
});
}
// agent-core
pub struct OutputChunk {
pub text: String,
}
struct ModelTail {
bytes: VecDeque<u8>,
total_bytes: u64,
}
fn push_text(&mut self, text: &str) {
let text = text.as_bytes();
self.total_bytes += text.len() as u64;
let kept = &text[text.len().saturating_sub(MAX_OUTPUT_BYTES)..]; // 比窗口長的一塊,只複製留得下的部分
self.bytes.drain(..(self.bytes.len() + kept.len()).saturating_sub(MAX_OUTPUT_BYTES)); // 先騰出空間
self.bytes.extend(kept);
}
fn finish(mut self) -> String {
// 從前端淘汰是照 byte 切的,窗口可能從一個字的中間開始:跳過 1~3 個接續 byte
while self.bytes.front().is_some_and(|b| b & 0xC0 == 0x80) {
self.bytes.pop_front();
}
// ...表頭 + 窗口,一次配置(跟第四版一樣,少了保底區那段)
}
async fn collect(output: impl AsyncRead + Unpin, mut emit: impl FnMut(OutputChunk)) -> anyhow::Result<String> {
// ...
let mut chunks = ReaderStream::with_capacity(output, READ_CHUNK_BYTES);
while let Some(chunk) = chunks.next().await {
deliver(decode_chunk(&mut pending, &chunk?));
}
deliver(decode_lossy(pending));
Ok(tail.finish())
}
09 的第四版還有一個邊緣情況:一段 base64 或 JSON 中間會多出 \n,stderr 的話還會多出 [stderr] ,總數也多算了這些假標籤。
原型的做法是把 partial(還沒湊成完整一行的暫存 bytes)改成有上限的環,只留最後 50 KB,等換行時整行一次 commit。另外加一條捷徑:一個 chunk 裡完整的一行,直接進窗口,不經過 partial。
錯誤的假設:兩條 stream 有一條共同的時間線
只有同一條 stream 裡的順序是真的。兩條 pipe 之間的先後,在 4~64 KB 的尺度上本來就不確定,而這正好是整個窗口的大小。 所以切段、環、抵達順序,三種做法都只是在幾種任意的順序裡挑一種。
從第一性原理出發,「標籤」是否對 LLM 具備足夠價值,實際上光結果所產生的context資訊已足夠LLM判斷。為此增加架構複雜度、心智負擔並不划算。
改動
兩條 pipe 併為一條後,需要處理的衍生邏輯與邊緣情況也大幅度簡化。
簡化
| 兩條 pipe | 目的 | 一條 pipe |
|---|---|---|
每一行 stderr 前面加 [stderr] |
讓模型知道哪一行來自 stderr pipe | 不再區分 stdout、stderr |
stderr 另外保留最後 4 KB,結尾附上 [earlier stderr] |
避免錯誤訊息被 stdout 擠掉 | 如實呈現最後 50 KB |
| 輸出流逐 bytes 湊行、換行 | 避免兩者輸出混在一起,且行首需要加標籤 | 不再另行判斷,收到甚麼播甚麼 |
| 同時讀兩條 pipe 並輪流排空 | 避免 pipe 緩衝被占滿,使命令卡住 | - |
將明顯屬於非核心功能的程式碼優化,除了降低複雜度,效能表現上也更好。
新增情況:中文輸出超過上限時,是用 byte 為單位從前面開始淘汰的,淘汰後的開頭可能落在一個字(3 bytes)中間。需要另外處理,避免回傳的第一個字是亂碼。
取捨
- 模型分不出哪一行來自 stderr。
- 錯誤資訊如果在輸出開頭,後面跟著超過 50 KB 的輸出時,會被擠出窗口,不再顯示。
- 程式自己緩衝造成的重排將原樣呈現,例如 Python 的
print()、sys.stderr.write(),由於各自 buffering / flushing 行為不同,導致輸出順序差異。
三項都非 agent 該負責的範圍, agent 只需回傳真實結果給請求端即可,不應再對輸出結果做二次加工。
總結
釐清需求,避免把不屬於自己的職責攬了進來 pipe 輸出順序本不該讓 agent 負責:真實的先後該由 kernel 排,buffering 造成的重排該由命令自己管,隔離與取捨該由使用者的環境決定。釐清職責歸屬後,agent 只留下「回傳最後 50 KB」這一件真正屬於它的事,那整串複雜度就一起消失了。
局部優化前,先問「這是不是我該做的」 避免第三版到第四版錯誤:只針對局部代碼作調優,忽略上游有沒有走錯方向。