本篇文章更新時間：2026/01/30
如有資訊過時或語誤之處，歡迎使用 Contact 功能通知。
一介資男的 LINE 社群開站囉！歡迎入群聊聊～
如果本站內容對你有幫助，歡迎使用 BFX Pay 加密貨幣 或 新台幣 贊助支持。
內容目錄
Claude Code Opus 4.5 性能監測筆記：為什麼需要追蹤模型「是否變差」？
編輯前言：這篇來自 Marginlab 的效能追蹤頁面 ，重點不是展示模型有多強，而是要回答一個大家越來越關心的問題：模型會不會突然變差？本文整理我對這個監測器的解讀，並分享我覺得最值得注意的幾個洞見。
核心觀點 (Key Takeaways)
- 這個監測工具專門追蹤 Claude Code（Opus 4.5）在 SWE-Bench-Pro 子集上的表現。
- Page 明確指出：過去 30 天的性能有統計上顯著的下降（p 。
- 儘管基準通過率（baseline）是 58%，但過去 7 天與 30 天都下降到 53% 與 54%。
深入解析
這個追蹤器的設計目的非常單純：只想在模型「真的」變弱時提醒你，而不是被偶然波動誤導。
它每天用相同方式、在相同的 SWE-Bench-Pro 子集上跑固定數量的任務，並且直接使用 Claude Code CLI。原文強調：
"What you see is what you get: We benchmark in Claude Code CLI with the SOTA model directly, no custom harnesses."
這點很重要，因為很多第三方評測會因為自己加了一層 wrapper 而引入偏差，而 Marginlab 特別避免這種問題。
接著我們可以看到三個關鍵指標：
- 每日通過率：最新一天為 50%（50 個任務）。
- 7 日通過率：53%（250 個任務），更平穩。
- 30 日通過率：54%（655 個任務），最能反映長期趨勢。
而 baseline「歷史平均值」是 58%。如果在統計上偏差不顯著，應該得分會落在 ±14% 的範圍內；但現在 30 天平均明顯掉出這個置信區間，所以被判定為退化。
子標題 1：為什麼 ±14% 的範圍那麼大？
這其實來自統計檢定。小樣本會帶來高不確定性，因此你需要更大的偏差幅度才能得到顯著結果。Marginlab 把這些全部可視化，包括 95% 信賴區間，讀起來一目了然。
子標題 2：7 天與 30 天視角能避免「日常噪音」
每日表現常常會因為 sample composition 或 random seed 波動，因此 Marginlab 特別提供 rolling 7-day 與 30-day 的視角。原文提到：
"Provides a more stable measure than daily results."
也因此 30 天趨勢是他們最重視的退化依據。
筆者心得與啟發
這篇追蹤頁面讓我意識到：模型「變弱」不再是感覺問題，而是需要用統計與長期數據來驗證。
我們常常會覺得某天 AI 回答變怪、程式碼品質下滑，但沒有證據，只能靠直覺。而 Marginlab 提供了一個非常透明、標準化的方式來回答這個問題。
此外，有幾個我覺得值得帶走的啟發：
- 任何模型都有波動，你不能只看一天的結果。
- 長期趨勢最重要，特別是 30 天等級的數據才能判定是否「真的退化」。
- 可觀測性是 AI 工具時代的新必要，未來每個 LLM 平台應該都要提供自己的健康監測儀表板。
從產品與工程角度來看，我甚至會建議團隊：如果你的產品仰賴 Claude Code 這種外部模型，就應該建立自己的 regression 測試 pipeline，不要完全依賴官方品質。
總結來說，這是一個非常實用且負責任的模型觀測工具，也確實揭示了 Opus 4.5 在某段期間表現下滑。接下來會不會回升？就值得繼續追蹤了。