本篇文章更新時間：2025/12/22
如有資訊過時或語誤之處，歡迎使用 Contact 功能通知。
一介資男的 LINE 社群開站囉！歡迎入群聊聊～
如果本站內容對你有幫助，歡迎使用 BFX Pay 加密貨幣 或 新台幣 贊助支持。
編輯前言：這篇來自 METR 的研究提出一個我認為格外務實的觀點：與其看 AI 考試分數或 benchmark，不如直接測量 AI 能不能完成「在人類需要花多少時間才能完成的任務」。這視角解決了很多我們對 AI 能力的誤解。原文來源：Measuring AI Ability to Complete Long Tasks
核心觀點 (Key Takeaways)
- AI 真實的瓶頸往往不是知識或單步能力，而是「能否連續執行長鏈任務」。
- 過去六年，AI 可可靠完成的任務長度呈指數成長，約每 7 個月翻倍。
- 若趨勢持續，AI 在數年內可 autonomously 完成「週級到月級」的人類專業任務，帶來巨大影響。
深入解析
這篇文章的核心想法很簡單：既然 AI 的長處與弱點在不同維度表現不一，那麼我們是否能找到一個更貼近現實工作流程的衡量方式？作者提出的解法是「以人類需投入的時間」來估算任務難度，並測量 AI 在不同任務長度下的成功率。
原文提到：「模型幾乎能 100% 完成人類需 4 分鐘內的任務，但對於人類需 4 小時以上的任務，成功率則掉到 10% 以下。」
這個觀察非常關鍵。因為它說明了我們日常感受到的矛盾：AI 在公開 benchmark 上表現驚人，但當我們真的想交給它一個持續性專案（例如整理資料、編輯多階段報告、寫完整軟體模組），AI 就開始卡關。
-
為什麼任務「長度」如此重要？
因為多步驟任務涉及規劃、記憶、錯誤復原、情境整合等能力，而這往往是當前 AI 最薄弱的面向，也最接近「做真正工作」的需求。 -
什麼是時間地平線（time horizon）？
作者以 logistic curve 估算：某模型在「50% 成功率」門檻下，可以處理多長的人類任務。例如文中提到 Claude 3.7 Sonnet 的 time horizon 約一小時。這表示它能以可接受的可靠度完成相當於人類耗費一小時的工作。
研究團隊整理了 6 年的數據後，發現 time horizon 呈現極穩定的指數成長：每 7 個月翻倍。這個速度驚人，甚至比許多硬體進展還誇張。
更驚悚的是，某些資料集（如 SWE-Bench Verified）甚至呈現「不到 3 個月翻倍」的速度。
筆者心得與啟發
這篇文章給我的最大震撼，是它讓我更清楚理解：我們低估了 AI 的進展，也低估了衡量方式的重要性。
過去我們習慣用考試、題庫或某種固定格式的 benchmark 去推論 AI 能力，但現實世界的工作不是這樣運作的。真實任務往往需要耐力、上下文記憶、跨工具協作、處理模糊資訊——這些都是長鏈任務（long-horizon tasks）。
而這份研究等於是在提醒我們：
- AI 現階段看似「不太能真正工作」，很可能只是因為 long-horizon 能力還不夠。
- 但這能力正在以指數速度提升，且最終會跨越「能獨立完成一週工作量」、「一個月專案」甚至更長。
- 一旦突破這門檻，許多職業的工作方式將被重新定義。
這讓我重新思考：如果未來 2-4 年 AI 就能可靠執行「月級任務」，企業組織中的許多角色——特別是偏向流程整合與資訊處理的職位——將會面臨巨大變化。
因此，現在最值得投入的能力可能不是「寫 prompt」，而是：如何把一個大任務拆成 AI 能夠穩定接手的模塊；如何設計 AI 友善的 workflow；如何在 AI 可部分自動化的情況下重新定義自己的價值。
未來真正重要的技能，也許會是「AI 專案管理」而不是「AI 操作」。