Victor Yocco 在 Smashing Magazine 2026-11-12 發表〈Should You Actually Add AI To That? A Four-Question Audit For Product Teams〉,主張在動手設計 AI 功能之前,先用四個問題檢查它是否真的替使用者省下力氣:省下的力氣要大於使用者為了適應它而付出的代價。讀到的程度:我透過網頁擷取讀到文章全文的摘要,引用的研究數字都是文章轉述,我沒有回頭查原始論文;下面標明「我的判讀」的部分是推論。
📖 學
一、損益平衡線
文章的核心概念是「損益平衡線」:任何介面改動在回本之前,使用者都要先付成本,包括重建心智模型、學新版面、決定要信任 AI 到什麼程度。AI 功能的價值要看它帶來的回報是否勝過這些調整成本,回報有三種形式:省下的力氣、攔下的錯誤、跨人員的一致性。文章也引用 Nelson Cowan 2001 年的回顧,指出工作記憶一次大約只能同時處理四個項目,用來說明使用者的注意力預算是固定的,不會因為模型變強就變大。
二、四個問題與各自的設計條件
第一題問的是這項功能是否降低該使用者完成任務的總力氣。重點是把思考、點擊與檢查全部算進去:預先填好欄位看似省事,卻可能把成本從打字搬到核對。文章用貸款審核員的例子說明,低力氣的打字工作會變成高注意力的檢查工作;同一功能對初階分析師有幫助,對資深分析師可能幾乎沒有。設計條件是點名這項功能服務哪一群人,並替其他群體設計退出方式。
第二題問它是否勝過使用者現在的做法,包括他們自己的土法。AI 常勝在模糊、規模、速度、一致性或抓出現行做法漏掉的錯誤;使用者本來就又快又準的步驟則不該放 AI。文章以人資產品為例:AI 候選人搜尋值得做,AI 代寫通知信則不然。設計條件是把 AI 從使用者現行做法已經夠好的步驟拿掉。
第三題問使用者能不能抓到錯誤,要評估錯誤的可見度、沒被發現的代價,以及使用者是否還保有抓錯的技能。文章的對比很清楚:AI 旅遊規劃推薦的博物館剛好當天休館是看不見的錯誤,航班在轉機航班落地前就起飛則會直接顯示在畫面上。文章引用 Parasuraman 與 Manzey(2010)的回顧,指出在航空、醫療與流程控制等領域,人們即使在自動化輸出錯誤時仍傾向順從。對策是呈現出處(provenance),也就是來源與資料擷取時間。設計條件很硬:錯誤高代價又低可見度的功能,必須附出處與核對提示才能上線,否則不上線。
第四題問使用一年之後,使用者還能不能分辨 AI 何時出錯。把例行工作委派出去是真實的好處,但抓錯的判斷力若長期不用就會退化。文章引用 Dratsch 等人(2023)的研究:27 位放射科醫師在模擬 AI 輔助下讀乳房攝影,先用 10 張建議全對的圖訓練,再看 40 張,其中 12 張被植入錯誤建議。平均資歷約 15 年的最資深組,建議正確時判對 82.3%,建議錯誤時降到 45.5%;資歷最淺組則從 79.7% 掉到 19.8%。依這兩組數字我自算,資深組落差約 36.8 個百分點,資淺組約 59.9 個百分點。文章提出的維持機制包括定期盲審、把部分案例輪流排除 AI 輔助、每週比對機器與人工的輸出。設計條件是點名維持核對技能的機制,並做進工作流程。
三、兩個案例
保險申訴工具的第一版讓 AI 直接寫完整裁定,專員後來不用了,因為檢查花的時間和自己寫一樣久;第二版改成只列出相關條款與過往判例,寫作留給專員,並為每條條款附上來源文件與檢索日期。會議摘要在第二、第四題多半過關,主要風險是承諾被歸錯人,所以行動項目應連到來源時間戳;上線後要追蹤的使用者群是原本就習慣自己做筆記的人。
四、我的判讀與限制
我的判讀:這套審核最有用的地方是把「AI 要不要放」從功能討論搬到設計需求,第三題「高代價低可見度就不上線」是少數能直接寫進驗收條件的規則。限制有兩個。第一,放射科實驗是模擬情境、前 10 張訓練圖全部建議正確,這種設定本身可能放大了對 AI 的信賴,不能直接外推到所有產品。第二,文章建議用約 60 分鐘、找一位實際做這項工作的人跑完審核,但沒有給這個流程的成效數據;它是實務建議,不是驗證過的方法。
🧠 記
- 來源: Smashing Magazine,Victor Yocco,2026-11-12。
- 概念: 損益平衡線,回報有三種:省力、攔錯、跨人一致。
- 四題: 總力氣是否下降、是否勝過現行做法、使用者抓不抓得到錯、一年後還分不分辨得出錯。
- 條件: 點名服務的使用者群;高代價低可見度的錯誤必須附出處,否則不上線;要有維持核對技能的機制。
- 數字(文章轉述): 工作記憶約四項(Cowan 2001);27 位醫師、10 張訓練圖、40 張測試圖含 12 張錯誤建議;資深組 82.3% 對 45.5%,資淺組 79.7% 對 19.8%。
✍️ 實踐
挑一個你的產品裡已上線或規劃中的 AI 功能,約六十分鐘跑一次這份審核,最好找一位天天做這件事的人一起。先寫下這項功能服務哪一群人,以及使用者新增的檢查動作有哪些。再列出它可能犯的三種錯,為每種標上「看得見或看不見」與「沒發現的代價」。若有任何一種是高代價又看不見,就在原型加上來源與擷取時間的顯示,並寫成驗收條件。最後寫一句話回答第四題:一年後,什麼機制讓人繼續練習自己判斷。
🔗 延伸學習
- Should You Actually Add AI To That? A Four-Question Audit For Product Teams(Smashing Magazine,2026-11-12)
- Usability 101: Introduction to Usability(NN/g,2026-11-06,僅讀列表摘要,未讀全文)
💬 問 AI
我的產品想加入 [某個 AI 功能],服務的使用者是 [描述],他們現在的做法是 [描述]。請用「損益平衡線」架構幫我審核:1) 這項功能對哪些使用者群真的降低總力氣、哪些反而把成本從操作搬到核對;2) 它是否勝過使用者現行做法(含土法),哪些步驟應該拿掉 AI;3) 列出它可能犯的錯誤類型,標註可見度與代價,並設計出處顯示與核對提示;4) 提出一年後維持使用者判斷力的機制(例如定期盲審、輪流不用 AI);5) 產出可寫進設計 brief 的驗收條件。請標明哪些是研究支持、哪些只是設計推論。