這篇以 Harness Engineering（AI 執行框架工程）為主軸，把工作案例、生活比喻與延伸設想逐項拆開，再補上實作時需要的界線。重點是做出可驗收的工作成果，而不是收集更多工具名稱。
內容目錄
先釐清：改善 Skill、訓練模型與 Harness 是三件事
把作品整理成提示詞、Skill 或知識庫，再用新案例修訂規則，通常是在改善模型外部的工作方式。除非真的執行參數更新，否則不能直接稱為大模型微調。模型能在目前對話參考你的糾正，也不代表它已永久記住，重要規則仍要明確保存。
Harness 的範圍更廣，包含資料入口、工具權限、任務狀態、評估、重試與交接。Anthropic 的長時間應用開發研究示範把規劃、產生與評估拆開，也強調主觀品質需要可判定的標準。不是多放幾份文件就完成整套工程。
實務上先保留三種素材：用來建立規則的示範、用來反覆調整的驗證案例，以及最後才打開的保留測試。scikit-learn 的交叉驗證文件說明了用同一份測試集反覆調整會造成的問題。
從企業導入到日常工具：先證明你解決了問題
1. 微軟派工程團隊進企業（FDE)
每家公司的資料、權限與作業順序不同，買同一套 AI 工具不代表能得到相同成果。這個例子說明，導入工作常常發生在模型之外。
怎麼用：先盤點實際流程與驗收責任。微軟官方公告日期為 7 月 2 日，將 Frontier Company 描述為新的營運事業，並強調與客戶共同設計及持續改善。不要直接寫成所有企業都不該自己做，或把它等同於一間獨立法人公司。
2. Palantir 到情報單位做原型
工程師到客戶現場、展示原型、接受批評再修改，說明需求必須在真實場景裡被看見。
怎麼用：把第一次展示當成收集回饋的工具。Palantir 的 Deployment Strategist 職務說明確實包含深入客戶流程、理解資料及與工程團隊合作，但不能據此替所有故事細節背書。
3. 漂亮網站隔週壞掉
頁面第一次能跑，和日後能維護是不同要求。這個情境包含故障找不到原因、資料管理不清楚，以及錯誤操作破壞網站。
怎麼用：初版完成後就補上備份、可還原版本、關鍵操作驗證與錯誤紀錄。把「看起來正常」改成「主要工作能完成，而且失敗後能恢復」的驗收標準。
4. 遛狗的牽繩比喻
模型可能用不同路徑完成同一件事，牽繩象徵人在必要時能限制或中止行動。比喻要說明的是可控性，不是要求每次輸出逐字一致。
怎麼用：把牽繩具體化成工具權限、可修改範圍、預算與停止條件。只寫一句「不要出錯」，不能代替程式與權限上的控制。
5. 看起來能賣錢的 Skill，直接問模型也能做到
有人投入心力做工具，卻沒有和一般對話比較。關掉工具、交付相同需求後，如果品質差不多，就還沒有證明額外流程的價值。
怎麼用：做基準比較與移除元件的對照測試，固定模型、資料、任務與評分方式，再比較品質、成本及修改時間。
6. 訪綱 Skill
額外 Skill 的差異沒有想像中明顯。這是上一個原則在內容工作中的具體例子。
怎麼用：同一位來賓的背景資料，分別交給直接對話與 Skill，隱去版本名稱後請編輯評估。訪綱要看可追問性與資料正確性，不能只看格式整齊。
7. 模仿 The Diary of a CEO 設計訪談
先用部分訪談建立提問原則，再給未揭露答案的來賓背景，請 AI 設計問題，最後和實際訪談比較。差異可以揭露它是否忽略個人故事、衝突或追問。
怎麼用：拿實際問題當參考，不把原主持人問過的題目視為唯一答案。反覆修訂使用驗證素材，另留從未用來調整的新來賓或新主題，才能檢查原則是否可遷移。
8. 訪綱越像原稿，反而越僵硬
若評分只獎勵字句相似，系統可能把語助詞、段落節奏與固定句型寫死。它會更像舊答案，卻不一定更會訪問新的來賓。
怎麼用：過擬合的重點是新資料上的泛化表現，不是超過某個分數就發生。不要把八成或八成五寫成通用最佳值，也不要故意讓好答案變差以符合比例。資料洩漏與測試集使用原則可作為評估設計的起點。
模型焦慮與工作安排：把限時額度放回任務價值
09. 近期任務、未來版本與系統改善三份清單
把眼前必須交付的工作、未來想做的功能，以及安全、模型切換與 Skill 管理等改善工作分開，能降低新模型推出時不知道該測什麼的混亂。
怎麼用：預先寫好輸入、預期成果及優先順序。比較新模型時使用固定任務清單，才能看出它是否改善真正的瓶頸，而不只是帶來新的待辦事項。
把個人判斷變成可測試的工作規則
10. 寫出自己的文章與影片腳本分身
只請模型歸納過往文風，容易得到泛泛的形容。較有用的做法，是先讓 AI 按相同題目與大綱寫一版，再對照本人完成的版本。
怎麼用：把差異拆成觀點、結構、證據、取捨與措辭，保存能重複使用的規則。文風相似和內容正確要分開評分，避免模仿語氣卻新增未發生的經歷。
11. 巴菲特分身與台積電評論測試
角色提示可以生成像某位投資人的論述，卻不代表知道本人當時有哪些資訊。用實際公開評論比對，也可能遇到模型早已看過答案的污染問題。
怎麼用：把它當分析練習，要求引用公開資料並分開標示事實與推論。歷史評論的相似度不等於投資能力，更不能代表本人對目前個股的建議。
12. 馬斯克分身與創業問題
用名人身分求創業建議，容易把有辨識度的語氣誤認成可靠判斷。真正值得拆解的是成本假設、限制與需要驗證的關鍵條件。
怎麼用：改成要求列出目標、已知事實、不可省略的條件與可測試假說。第一性原理可幫助重新檢查假設，但不是輸入名人名字就會自動成立的能力。
13. 從演講稿找出自己的思考習慣
把多篇演講稿交給 AI，請它辨識常見的論證及決策方式，能把原本不容易說明的思考偏好，變成可討論的候選規則。
怎麼用：要求每個判斷附原文位置，再用另一篇新稿檢查。不要把 AI 歸納的幾個標籤當人格定論，文字只呈現部分情境下的表達。
14. 提問時附選項、建議與可能後果
只把問題丟給主管，會把分析工作一起往上移。附上替代方案與推薦理由，能讓討論直接進入取捨。
怎麼用：先比較可行方案、成本、風險及決策條件。這可以進一步畫成決策樹，但只列三個選項還不是完整決策樹，計算期望值也需要有根據的機率與效益。
15. 董事會報告自動化後，主管的價值在哪裡
把例行報告交給 AI 之後，人的價值可能需要重新說明。但能產生報告，不等於能承擔組織協調、決策與結果責任。
怎麼用：在自動化之前寫清楚省下的時間要投入什麼，以及誰對決策負責。把報告能力和整個職務混為一談，會高估工具的替代範圍。
教育訓練與企業知識：把成果背後的過程留下來
16. NGO 把教材做成志工培訓短片
既有教材拆成較短的知識單元，再接上講稿、配音、簡報、影片與登入觀看流程，目的是降低重複培訓負擔。
怎麼用：先檢查教材內容與學習目標，再製作媒體。聲音複製須取得本人授權，影片也應經內容審查。是否學會要用練習或操作驗收，不能只看播放完畢。
17. Echo 找問題，Delta 快速做原型
討論用兩種角色說明需求洞察和工程實作的互補性：一邊發現不合理之處，一邊快速做出能測試的方案。
怎麼用：讓每個提案同時具備問題證據、可測的改動和使用者回饋。官方職務頁可確認 Echo 與部署策略職務的關聯，但「特種部隊」及人格分類只是訪談的比喻，不是完整招募規則。
18. 中醫師請 AI 反過來挑戰自己的判斷
與其讓 AI 一味附和，這位醫師用它提出不同解釋、追問選擇理由。這個例子強調專業人士的反思過程。
怎麼用：要求反對意見附證據，並區分缺資料、邏輯問題及可考慮的替代解釋。AI 提出的質疑仍可能錯誤，不能直接據此改方或讓一般讀者自行處置病情。
19. PDF 圖表轉成可檢索內容，並留下來源
只抽取文件文字可能漏掉圖片中的座標、單位與圖例。VLM 可以協助閱讀視覺內容，Markdown 則是保存描述的一種格式，兩者不是同一種東西。
怎麼用：同時保留圖表原檔、頁碼、讀出的數值與不確定處。需要計算時優先取得原始表格，別只依賴看圖估值。可延伸看本地 VLM 與文件理解。
20. 資深編輯的價值藏在退稿與修改往返
只有定稿，AI 很難知道編輯刪掉了什麼。作者初稿、編輯意見、作者回稿與最後定案，才顯示修改的理由和界線。
怎麼用：將修改分成事實、結構、讀者理解與風格，整理正反例。新的稿件再測一次，確認它學會判斷原則，而非對每篇文章都套同樣的刪改方式。
21. 課程企劃的 120 個節點為何不能一路直跑
把大型課程專案連成很長的順序，等全部完成才說不對，很難找出最早偏離需求的地方。分段產出、審查與退回，能讓錯誤更早被看見。
怎麼用：節點數不等於必須配置相同數量的 Agent。先按企劃、內容、驗證等成果切段，設定最多修改次數與人工接手條件。Anthropic 的 Agent 設計模式同時包含工作流與評估迭代，線性流程並非一律錯，應依任務需要選擇。多角色安排可參考CrewAI 與多 Agent 工作流。
內容、跑步與遊戲：把好奇心變成可驗證的專案
22. 全聯與 citysuper 超市開箱
兩種超市開箱哪個更受歡迎，不必只靠直覺猜測，可以先查找已發布作品。訪談用它說明觀察市場的方法，沒有提供可核對的比較樣本。
怎麼用：比較發布時間、頻道規模、題材角度及影片形式。搜尋得到的觀看數只能提供需求線索，不能保證你再拍同一主題也有相同流量。
23. 高中生用論文與姿態辨識研究跑姿
先找運動研究，再分析自己的跑步影片，最後提出調整方向，形成文獻、觀察與練習的回饋流程。訪談未提供所用技能包、原始影片或訓練前後紀錄。
怎麼用：技術上，MediaPipe Pose Landmarker可從影像估計人體關鍵點，但關鍵點不等於直接量到力量、傷害風險或完整動力鏈。需在教練指導下核對鏡頭及追蹤誤差，逐步測試調整，有疼痛時先尋求專業評估。
24. 傳說對決重播，找出戰術與技能時機問題
把玩家喜歡的遊戲當學習題目，回看哪個時間點做了什麼選擇，可以練習提出假說與檢查結果。這段不是已完成的產品實測。
怎麼用：請 AI 指出畫面證據、可選動作及判斷的不確定性，再由熟悉遊戲的人確認。理解重播與即時操作是兩種能力，不能把前者直接推成後者。
25. 錄下網站操作，再整理成可重複使用的 Skill
下載文件、移到指定位置等固定操作，可以先示範，再整理輸入、步驟與驗收方式。所核對的官方插件名稱為 Record & Replay，與字幕中的 recall and play 不同。
怎麼用：錄製內容可作為建立技能的素材，但工作流程仍需確認輸入、權限與結果。這不等於能可靠學會任何即時遊戲，也不代表錄一遍便能替孩子自動打完對局。
六個值得留下的觀點，以下為意譯
先定義成果，再選工具
寺廟需要的是可靠的法會系統。程式語言、模型及插件都應服從這個目標。
知道哪裡不好，是把 AI 用好的前提
如果無法判斷品質，就先和領域專家一起建立標準，不能只讓 AI 自己給自己高分。
完成品之外，修改理由也值得保存
編輯與主管真正的判斷，常出現在否決、補證據及改寫的過程。
把大任務拆成能退回的小循環
每段都有產出、檢查與停止條件，出錯時才知道該修哪裡。
先解決身邊可驗證的需求
主管往來及自己的文章，通常比不可求證的名人分身更容易建立回饋。
興趣要接上實作，才會形成能力
跑步和遊戲都能成為專案入口，前提是願意研究、練習、接受證據與修正。
把這些方法用在自己的第一個專案
挑一個你熟悉、會重複發生，而且能檢查對錯的工作。先寫出使用時機、使用者、輸入與成果，再拿現有直接對話作為基準。建立最小版本後，每次只針對清楚的失敗原因修正，保留改版前後的結果。
能被重複利用的不是一句神奇提示詞，而是一組可信資料、清楚規則和可檢查的成果。等小流程穩定，再增加資料來源、角色分工及自動化程度。
需要了解來賓的課程與教學範圍，可參考說明欄提供的AI 超級大腦課官方頁與李佳達頻道。課程宣傳中的效果與比例不作為本文技術查核證據。
常見問題
Harness Engineering 就是微調模型嗎？
不是。它主要設計模型之外的資料、工具、狀態、權限與評估流程。修改提示詞或 Skill 通常不會更新大模型參數。
把資料分兩半，一半反覆測試就夠了嗎？
被用來修正規則的案例已參與開發。若要檢查泛化，還需要未參與調整的保留測試，並避免重複資料與事後資訊洩漏。
AI 準確率超過八成五就叫過擬合嗎？
不是。過擬合應觀察已見案例和新案例的表現差異，不能用固定百分比判定。不同工作也需要不同品質標準。
一百多個流程節點就需要一百多個 Agent 嗎？
不需要。先依成果、相依關係與驗收責任切分工作，再決定是否增加角色。大量 Agent 也會增加協調成本和錯誤來源。
自己的 AI 分身應該收集哪些資料？
除了完成品，還應保留當時的輸入、初稿、修改意見、理由及定稿，並另留新案例驗證。涉及他人或公司的資料，須具備適當使用權限。
近期留言