NN/g 在 10 月 16 日發表〈Synthetic Users vs. Human Respondents: Same Conclusion, Less Variation〉，拿 120 位合成受訪者對照 604 位真人，回答同一題開放式問題：結論一致（「UX」都是最主流的稱呼），但合成資料用 UX 相關詞的比例是 84%，真人約 70%，產品經理那一格更是 93% 對 44%。今天以這篇為主角，補上 NN/g 10 月 9 日談新版 Siri 的文章（它對「AI 助理介面要讓人看見什麼」給了具體做法），最後帶過 Smashing 與 Walsh 的兩則設計工具消息。
承接 26 UIUX：該篇留下的待驗項（Apple 一手點數、HomeView 點數、11 月 13 日實機字高、VS Code 數字是否適用預覽版）今天沒有新資料，維持待驗，不重複。讀到的程度：NN/g 兩篇我透過網頁抽取工具讀到摘要，不是逐字讀完整原文；Walsh 頁面只抽到導言；uxdesign.cc 的兩篇文章（TARS、設計評審）抓取時回傳 403，我只看過搜尋摘要的標題與一行簡介，所以不引用其內容細節。所有「自算」都標明是我的推論。
📖 學
一、NN/g 合成受訪者研究：設計與數字
先把研究設計講清楚，因為結論的強度全看它。問題只有一題：NN/g 先前一份 UX 用語研究中的開放題，問「哪個領域最能描述使用者洞察（user insights）這個角色」。真人樣本是 604 位科技與設計從業者；合成樣本是 2026 年 2 月用 Synthetic Users 平台生成的 120 位，平台依研究計畫產生年齡、地點、職業、個性等角色設定，並對職業設配額。文章沒有說底層用哪個大型語言模型。分析是把回答編碼成關鍵字，因為有些人會列出多個領域；文章報告次數、百分比與顯著性檢定，但沒有使用正式的多樣性指數。作者自己列的限制有兩個：平台模擬訪談，所以合成回答常常更長；平台有時會改寫問題，可能影響回答。
結果整理如下（抽取摘要，數字為文章所述）：
| 指標 | 合成（120 人） | 真人（604 人） | 自算差距 |
|---|---|---|---|
| 使用 UX 相關詞的比例 | 84% | 約 70% | 差 14 個百分點，比值 1.2 |
| 產品經理使用 UX 相關詞 | 93% | 44% | 差 49 個百分點，比值約 2.1 |
| 不同標籤數 | 「收斂到約十幾個」 | 超過 50 個 | 見下節 |
| 合成的客戶洞察專業者用「customer」 | 45% | 合成 UX 專業者為 0% | 角色效果比真人弱（文章說法） |
整體結論同向，所以標題是「Same Conclusion」；差異在「變異」。文章把標籤數的差距稱為模式崩塌（mode collapse）：真人用了超過 50 種標籤，合成資料「收斂到一打左右」，罕見說法幾乎沒有。
二、我自己算的兩件事：信賴區間與樣本量混淆
第一件是 84% 與 70% 的差是不是雜訊。用最簡單的常態近似算標準誤（我的算法，文章報告的是它自己的顯著性檢定，沒有給區間）：合成 84% 的標準誤 = √(0.84 × 0.16 ÷ 120) = 3.35 個百分點，95% 區間約 ±6.6，落在 77.4% 到 90.6%；真人 70% 的標準誤 = √(0.70 × 0.30 ÷ 604) = 1.87 個百分點，區間約 ±3.7，落在 66.3% 到 73.7%。兩個區間不重疊，與文章說「顯著」的說法一致。要補一句：真人的「約 70%」是文章用語，實際值可能是 69.5 到 70.5 之間，區間會略移，但不會改變不重疊的結論。
第二件是標籤數的比較其實不是等量比較。如果每個標籤都是「用過一次的人數」的函數，樣本越大自然越容易出現新標籤。粗算每個標籤平均對應的受訪者：真人 604 ÷ 50 以上 ≤ 12.1 人，合成 120 ÷ 12 ≈ 10 人（我把「一打」當成 12，文章沒給精確數字）。兩個數字在同一量級，也就是說「50 對 12」有一部分只是 604 比 120 的樣本量差距造成的。要公平比較，應該從真人樣本中隨機抽 120 位，看那一組有多少種標籤。這個抽樣文章沒做（至少摘要沒提），所以「標籤數少了四倍多」不能當成純粹的模式崩塌證據；真正乾淨的證據是 93% 對 44% 這種同一子群的直接比較，以及「罕見標籤缺席」的質性觀察。這是我的推論，待驗：原文是否已做等量抽樣。
三、對設計實務的意思
文章建議很務實：把合成資料當假設的起點，不當作真實使用者想法的證據；需要罕見回答、新興主題、子群差異時用真人；而且不要假設「提示它多樣一點」就會得到有代表性的多樣性。我補一個可操作的判斷：產品經理那格 93% 對 44% 顯示，合成受訪者最容易被「問卷脈絡」拉向主流詞彙，所以如果你的設計決策依賴某個細分角色（例如採購、客服、無障礙使用者）的真實用語，合成資料幾乎一定會洗掉你最需要的那一部分。
單一題目、單一平台、單一時間點（2 月）的研究，不能推廣成「所有合成使用者都如此」。平台在 2 月之後可能已更新，這一點我無法查證。
四、NN/g 談新版 Siri：給 AI 介面的七個具體做法
10 月 9 日的〈The New Siri’s Biggest Strength Is Not Intelligence〉是一篇作者自述的實測，文章自己說是「動手探索，不是對照實驗」，沒有任何可用性指標或統計。它的論點是：好用的 AI 助理要同時有相關的個人脈絡、能據此行動的能力、以及讓使用者看懂它能做與不能做什麼的介面。測試情境是一趟紐約行之後的三個任務：找照片、查餐廳推薦、擬訊息；比較對象是 iPhone 14 上的舊 Siri、iPhone 18 Pro（iOS 27）上的新版 Siri AI（英文 beta 自 9 月 14 日起，到今天 10 月 29 日是 45 天），以及 ChatGPT Plus（文章寫 GPT-5.6 Sol、高推理量）；多數請求只跑一兩次。
文章的設計建議我整理成可直接放進評審的清單：
- 顯示搜尋了哪些來源，說明缺口，並提供補救路徑。例子是新版 Siri 漏掉 Signal 裡朋友傳來的計畫（Siri 預設不能搜尋 Signal），作者認為回答應該說出搜尋過哪些來源，讓「找不到」不被讀成「不存在」，並讓使用者能貼上缺的訊息。
- 有後果的動作（寄訊息）要先確認，即使助理多半是對的。
- 選項會導向不同動作時問一句短問題。「Dimes」可能是餐廳，也可能是 Dimes Square。
- 脈絡要在步驟間存活。Siri AI 確認路線起點是對方住址，但 Google Maps 開啟時卻從作者目前所在的 Durham 出發；建議把確認過的起訖點帶進目的 App，並讓使用者出發前檢視與修正。
- 建議提示語只指向助理真的能搜尋的資料，並備好找不到時的退路。
- 說明「為什麼這個來源相關」，而不只是顯示忙碌。文章的說法是「透明不等於可解釋」；例如「Searching websites」這種沒有解釋的進度標籤會引起疑心。
- 測試使用者從介面推論出什麼。簡約的設計把焦點留給任務，更有個性的表現則可能承諾超過它做得到的事。
另一個值得記的觀察：更多來源不一定更好。ChatGPT 連上作者的工作 Gmail 與 Slack，對餐廳問題找不到有用的東西。把這與第一節放在一起看，兩篇 NN/g 文章指向同一件事：AI 的輸出看起來很完整，但「它沒看見什麼、沒涵蓋什麼」要靠介面和研究方法主動揭露。
五、兩則設計工具與流程消息（只帶過）
Smashing Magazine 在 10 月 19 日刊出 Ben Walsh 的〈Figma Plugins For Accessibility Testing〉，連結指向他自己的網站。我只抽到導言：他測了 18 個 Figma 對比檢查外掛，範圍涵蓋 WCAG、APCA 與批次檢查，使用者數與價格在 2026 年 10 月重新核對過。頁面沒有列出外掛名稱、比較結果或建議，而且頁面的日期有衝突（中繼資料 10 月 28 日、署名 10 月 5 日），所以我不引用任何排名，也不知道哪個外掛最好。這與我 10 月 23 日自算的 767676 對 777777（WCAG 4.542 對 4.478，APCA Lc 71.6 對 71.1）有關：兩套演算法在邊界值上結論可能不同，選外掛時應先確認它支援哪一套、以及是否顯示小數。這句是延伸提醒，不是文章內容。
Smashing 同一批文章還有 10 月 26 日 Adrian Raudaschl 的 TARS 產品功能影響度量（TARS 的定義與公式我沒讀到，uxdesign.cc 回傳 403），以及 10 月 20 日 Jeremy Bird 的設計評審改善；這兩篇我只知道標題與一行簡介，內容待驗，不下判斷。
六、一張給今天的檢查表
| 今天讀到的事 | 設計動作 | 驗證方式 |
|---|---|---|
| 合成受訪者 84% 對 70% | 用合成資料只產生假設，不寫進研究結論 | 報告中把每個發現標為「合成假設」或「真人證據」 |
| 產品經理 93% 對 44% | 關鍵細分角色一律找真人 | 比對同一子群的合成與真人回答 |
| 標籤數 50 對 12 受樣本量影響 | 比較多樣性時先等量抽樣 | 從大樣本隨機抽出與小樣本等量再比 |
| Siri 漏掉 Signal | AI 回答列出搜尋過的來源 | 找不到時介面是否顯示來源清單與補救入口 |
| 路線起點在 Google Maps 跑掉 | 跨 App 傳遞的參數要讓使用者出發前確認 | 逐一走完交接流程，檢查起訖點是否保留 |
| 有後果的動作 | 寄出前先確認 | 以十次任務數有幾次沒確認就執行 |
| 對比外掛 | 先確認支援 WCAG 或 APCA 與小數位 | 拿 767676 與 777777 兩個色值各測一次 |
🧠 記
- NN/g 合成使用者研究（10 月 16 日）： 120 位合成對 604 位真人，同一題開放問題，結論相同但合成較不多樣；UX 相關詞 84% 對約 70%，產品經理 93% 對 44%。
- 自算區間： 合成 84% 約 77.4 到 90.6%，真人 70% 約 66.3 到 73.7%，不重疊；標籤數 50 對 12 受 604 對 120 的樣本量影響，不是乾淨的模式崩塌證據（我的推論）。
- 使用方式： 合成資料當假設起點；罕見回答、新興主題、子群差異要真人。
- NN/g 新版 Siri（10 月 9 日）： 作者自述實測、無統計；七個做法：顯示來源、動作前確認、短問題澄清、脈絡跨 App 存活、提示語對應可搜尋資料、解釋相關性、測使用者的推論。
- Walsh 的 18 個對比外掛： 只讀到導言，沒有名稱與結論，日期有衝突。
邊界： NN/g 兩篇都經網頁抽取摘要，我沒有讀逐字全文，也沒有實際使用 Synthetic Users 或新版 Siri。研究的底層模型未公開、平台版本可能已更新。標籤數是否已做等量抽樣、84% 與 70% 的精確值都待驗。Walsh 的外掛排名、TARS、設計評審兩篇內容均未讀到。
✍️ 實踐
用 45 分鐘為自己正在做的研究或 AI 功能做一次「證據分級」與「來源揭露」檢查。
- 證據分級：把你手上最近一份研究或設計決策的依據列成表，每條標為「真人資料」「合成或 AI 產生」「個人經驗」，並在三欄各算條數。若關鍵決策的依據全部落在後兩欄，排一次真人訪談。
- 做一個等量抽樣練習：任選一份有開放題的問卷，從回答中隨機抽出 120 份，算出現幾種不同標籤；再抽一次，看標籤數的波動，體會樣本量對「多樣性」數字的影響。
- AI 功能走查：挑一個會搜尋或使用多個資料來源的功能，問它一個你知道答案藏在它看不到的來源裡的問題。檢查回答有沒有說出搜尋過哪些來源、有沒有補救入口。
- 交接檢查：找一條會從你的 App 跳到另一個 App 的流程，確認起訖點等參數在對方 App 打開時是否保留，並能不能在出發前修正。
- 色值測試：用你常用的對比外掛，輸入 767676 與 777777 對白色，記下它回報的比值與使用的演算法。
🔗 延伸學習
- Synthetic Users vs. Human Respondents: Same Conclusion, Less Variation（NN/g）：10 月 16 日，120 位合成對 604 位真人，我抽取過一次。
- The New Siri’s Biggest Strength Is Not Intelligence（NN/g）：10 月 9 日，AI 助理介面的脈絡、來源揭露與確認設計，我抽取過一次。
- Figma Plugins For Accessibility Testing（Ben Walsh）：18 個對比檢查外掛的評測，我只讀到導言。
- Smashing Magazine：10 月 19 到 28 日的 UX 文章列表（Figma 外掛、TARS、設計評審、Shaping Design），我讀過列表頁。
💬 問 AI
我想評估「合成使用者(AI 產生的受訪者)」能不能用在我的 UX 研究。請嚴格分成「文章說的」「你查證到的」「你的推論」三區回答,不確定就直說,不要編造連結、數字或引文,也不要給任何投資或財務建議。
背景(請當待查證主張):
1. NN/g 在 2026-10-16 發表 Synthetic Users vs. Human Respondents: Same Conclusion, Less Variation:一題開放題,真人 604 位(科技與設計從業者),合成 120 位(2026 年 2 月以 Synthetic Users 平台生成);使用 UX 相關詞的比例合成 84%、真人約 70%;產品經理合成 93%、真人 44%;真人用了超過 50 種標籤,合成收斂到約一打。
2. 我自算:合成 84% 的 95% 區間約 77.4 到 90.6%,真人 70% 約 66.3 到 73.7%;標籤數的比較受 604 對 120 的樣本量影響,需要從真人樣本等量抽樣才公平。
3. NN/g 在 2026-10-09 發表 The New Siri's Biggest Strength Is Not Intelligence,作者自述實測、無統計,建議顯示搜尋來源、有後果動作前確認、短問題澄清、脈絡跨 App 保留。
請做:
A. 逐點驗證 1 到 3,標示「成立/部分成立/查不到」並附一手連結;特別確認標籤數是否已做等量抽樣,以及原文的顯著性檢定方法。
B. 檢查我的區間算法(常態近似)在 n=120、p=0.84 時是否合理,並給出更穩的做法(例如 Wilson 區間)與結果。
C. 為我的產品(請假設是一個給客服人員用的工單系統)列出 5 個適合用合成使用者做假設發想、5 個必須用真人研究的決策,各附理由與可量測的檢查方式。
D. 設計一個 45 分鐘流程,把「真人資料」「合成資料」分開記錄,說明這樣分開能與不能證明什麼。
不要評論公司或人事,只談研究方法、設計實務與證據強度。