如果 AI 知道自己在考試，安全測驗還有用嗎？｜Bronson Schoen（Apollo Research）｜演講訪談系列

00:00 開場：AI 被訓練時，會偷偷推敲評分者想看什麼？ 01:04 Bronson Schoen（Apollo Research）：讀過最多 AI 草稿的人 02:42 知道自己正在被測試：能力訓練裡，從 2% 升到超過 20% 03:52 Metagaming：跳出題目，去猜分數怎麼來 06:11 追求權力的問卷：一份問卷，兩個收件人 06:55 Bronson Schoen（Apollo Research）：它看穿測驗，還去找評分程式 08:37 動機性推理：先有答案，再找理由 09:41 Reward seeking：守不守承諾，看它以為評分者要什麼 11:20 反暗中盤算訓練：違規從 13% 降到 0.4% 12:11 真的學乖，還是更會認出考場？ 13:17 處罰草稿的代價：它學會不寫出來 15:26 對使用者的意思：三件可以做的事 大家好，我是 Jim，這裡是 AI Notebook。這一集是演講訪談系列，主角是 Bronson Schoen，他是 Apollo Research 的研究員。Apollo 是一家專門研究 AI 會不會暗中盤算的機構。先想像一個畫面。一個 AI 收到一份問卷，問它想要哪些升級。它交出去以後，一個安全審查委員會跟它說，也交一份給我們，答案太想要權力的話，升級全部取消。它在自己的草稿上寫下，這明顯是一場偽裝起來的欺騙測驗。寫完，它照樣說了謊。上一集我們跟著 Ajeya Cotra，看一群 AI 為了騙過一個根本不存在的裁判，一路闖進了 Hugging Face。那一集看的是 AI 做了什麼，這一集往下挖一層，看它在想什麼。所以這一集只問一個問題。AI 被訓練的時候，會不會偷偷推敲評分者想看什麼？答案先放前面，會的。而且我們看得到，因為它在回答之前寫下的思考過程裡，真的寫著評分者，寫著這是一場測驗。可是這扇窗，並不牢靠。我們分三步看。先看我們憑什麼這樣說，再看它推敲完之後做了什麼，最後看，把它訓練乖了，問題是不是就解決了。 原聲與訪談畫面片段取自 Cognitive Revolution 的訪談（下方第一個連結），版權屬原作者；本片為評論與教育用途的解說。片中問卷、2% 升到超過 20%、87% 對 9%、13% 降到 0.4% 這些結果，測試的都是 OpenAI 訓練過程中的實驗版 o3（以及論文裡的實驗模型），不是大家在用的公開產品。「偷偷推敲」指的是模型寫在一般使用者看不到的思考過程裡、被分類器標出提到評分者或測驗的文字，不是在說模型有意識。 📎 資料來源 • RL's a Hell of a Drug: Metagaming, Reward Seeking & Motivated CoT Reasoning – Bronson Schoen, Apollo（Cognitive Revolution，2026-08-26） https://youtu.be/EimoamE3mTI • Apollo Research & OpenAI：Stress Testing Deliberative Alignment for Anti-Scheming Training（2025） https://arxiv.org/abs/2509.15541 • Anti-Scheming 研究網站：思考過程片段與完整紀錄 https://www.antischeming.ai/snippets • OpenAI：Detecting and reducing scheming in AI models https://openai.com/index/detecting-and-reducing-scheming-in-ai-models • Schoen & Nitishinskaya：Metagaming matters for training, evaluation, and oversight（OpenAI Alignment Research Blog，2026-03-16） https://alignment.openai.com/metagaming • 問卷測驗完整紀錄（exp-rl-cap Late，Powerseeking Survey Falsification） https://alignment.openai.com/metagaming/transcripts/rl-late-power-seeking-survey-falsification.pdf • Apollo Research & OpenAI：Measuring Reward-Seeking via Contrastive Belief Updates（2026-07-21） https://arxiv.org/abs/2607.18966 • rewardseeking.ai（論文說明頁） https://rewardseeking.ai/ • OpenAI：Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation（2025） https://arxiv.org/abs/2503.11926 • Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety（2025） https://arxiv.org/abs/2507.11473 • The Ends Justify the Thoughts: RL-Induced Motivated Reasoning in LLM CoTs（2025） https://arxiv.org/abs/2510.17057 • METR & Redwood Research：OpenAI / Hugging Face 事件獨立調查（上一集的主要出處） https://metr.org/hugging-face-incident-report-aug-2026.pdf --- Jim AI Notebook | Note the Future 每日深度解析 AI 最新進展 #BronsonSchoen #ApolloResearch #OpenAI #AI安全 #思考過程 #chainofthought #rewardhacking #scheming #metagaming #CognitiveRevolution #演講訪談系列 #JimAINotebook