AI 為什麼記得住那麼多？把每一層看成記憶庫，你也能發明 Transformer
觀看數觀測
共同標籤
已比對共同詞彙 · 20 個標籤 · 比對時間 2026/10/27 上午02:02
比對依據（34 處）
- 注意力影片說明零公式看懂 Transformer 注意力機制：只用一排柱子，從線性層一路「發明」…
- 機制影片說明…公式看懂 Transformer 注意力機制：只用一排柱子，從線性層一路「發明」出自…
- 注意力影片說明…：只用一排柱子，從線性層一路「發明」出自注意力。你問 AI 冷門問題它常常答得出來——…
- AI影片說明…，從線性層一路「發明」出自注意力。你問 AI 冷門問題它常常答得出來——它到底怎麼記…
- 2026影片說明…這麼多東西？ Alex Wang 在 2026-10-15 發表的〈You could…
- 注意力影片說明…om memory〉把線性層、MLP、自注意力全部看成「記憶庫」，只追一個問題：回想某…
- 記憶影片說明…y〉把線性層、MLP、自注意力全部看成「記憶庫」，只追一個問題：回想某一筆記憶時，其…
- 記憶影片說明…看成「記憶庫」，只追一個問題：回想某一筆記憶時，其他記憶造成的干擾有多大？沿著這個問…
- 記憶影片說明…」，只追一個問題：回想某一筆記憶時，其他記憶造成的干擾有多大？沿著這個問題一步步改良…
- 注意力影片說明…層走到 MLP，再走到 softmax 注意力。鑰匙維度同樣是 64，能可靠記住的筆數…
- 影片影片說明… 35,000 → 約 120 萬。 影片裡的紅柱是你要找的那筆記憶，灰柱是干擾。…
- 記憶影片說明…20 萬。 影片裡的紅柱是你要找的那筆記憶，灰柱是干擾。每換一種設計，同一排柱子就…
- 設計影片說明…是你要找的那筆記憶，灰柱是干擾。每換一種設計，同一排柱子就變一次形，直到紅柱獨自站立…
- 互動影片說明…獨自站立。 🔗 資料來源 - 原文（含互動圖，強烈建議自己玩）：https://a…
- 建議影片說明… 🔗 資料來源 - 原文（含互動圖，強烈建議自己玩）：https://alexwan…
- 自己影片說明… 資料來源 - 原文（含互動圖，強烈建議自己玩）：https://alexwang.…
- News影片說明…ve-memory/ - Hacker News 討論：https://news.yco…
- 討論影片說明…mory/ - Hacker News 討論：https://news.ycombi…
- 數字影片說明… (2505.24832) ℹ️ 容量數字是原文用隨機向量推出的估計值，不是真實模…
- 模型影片說明…字是原文用隨機向量推出的估計值，不是真實模型的實測。柱子高度依同樣方法（64 維隨機…
- 記憶影片說明…–4.2 倍。 💬 你覺得「每一層都是記憶庫」這個角度，有讓 Transforme…
- 注意力影片說明…（Tags） Transformer, 注意力機制, self-attention, …
- 機制影片說明…gs） Transformer, 注意力機制, self-attention, at…
- 學習影片說明…, attention, MLP, 深度學習, 機器學習, LLM, 大型語言模型,…
- 學習影片說明…ntion, MLP, 深度學習, 機器學習, LLM, 大型語言模型, 聯想記憶,…
- 大型語言模型影片說明…P, 深度學習, 機器學習, LLM, 大型語言模型, 聯想記憶, associative …
- 記憶影片說明…器學習, LLM, 大型語言模型, 聯想記憶, associative memory…
- AI影片說明…ve memory, softmax, AI 原理, 神經網路, ChatGPT 原…
- 神經影片說明…ry, softmax, AI 原理, 神經網路, ChatGPT 原理
- 網路影片說明…, softmax, AI 原理, 神經網路, ChatGPT 原理
- ChatGPT影片說明…ftmax, AI 原理, 神經網路, ChatGPT 原理
- AI影片標題AI 為什麼記得住那麼多？把每一層看成記憶庫…
- 為什麼影片標題AI 為什麼記得住那麼多？把每一層看成記憶庫，你也能…
- 記憶影片標題AI 為什麼記得住那麼多？把每一層看成記憶庫，你也能發明 Transformer
比對版本
youtube-quality-20261017-a
影片說明
零公式看懂 Transformer 注意力機制：只用一排柱子，從線性層一路「發明」出自注意力。你問 AI 冷門問題它常常答得出來——它到底怎麼記住這麼多東西？ Alex Wang 在 2026-10-15 發表的〈You could have invented transformers from memory〉把線性層、MLP、自注意力全部看成「記憶庫」，只追一個問題：回想某一筆記憶時，其他記憶造成的干擾有多大？沿著這個問題一步步改良，你會從線性層走到 MLP，再走到 softmax 注意力。鑰匙維度同樣是 64，能可靠記住的筆數從約 64 → 128 → 2,700 → 35,000 → 約 120 萬。 影片裡的紅柱是你要找的那筆記憶，灰柱是干擾。每換一種設計，同一排柱子就變一次形，直到紅柱獨自站立。 🔗 資料來源 - 原文（含互動圖，強烈建議自己玩）：https://alexwang.ai/posts/associative-memory/ - Hacker News 討論：https://news.ycombinator.com/item?id=50122878 - 原文引用：Sukhbaatar et al. (arXiv 1907.01470)、Geva et al. (2012.14913)、So et al. Primer (2109.08668)、Qwen LogN (2309.16609)、Qwen2.5-1M (2501.15383)、Morris et al. (2505.24832) ℹ️ 容量數字是原文用隨機向量推出的估計值，不是真實模型的實測。柱子高度依同樣方法（64 維隨機鑰匙、固定 seed）計算，部分場景為了看得清楚把灰柱放大 1.8–4.2 倍。 💬 你覺得「每一層都是記憶庫」這個角度，有讓 Transformer 變好懂嗎？留言告訴我。 #AI #Transformer #注意力機制 #深度學習 #LLM #機器學習 ## 標籤（Tags） Transformer, 注意力機制, self-attention, attention, MLP, 深度學習, 機器學習, LLM, 大型語言模型, 聯想記憶, associative memory, softmax, AI 原理, 神經網路, ChatGPT 原理
本頁的資料來源與計算方式
影片的數字
- 公開統計
- 觀看、喜歡與留言總數是取得當時的 YouTube 公開統計，不是即時數值；各項統計的觀測時間可能不同。「資料最後記錄」是影片資料的記錄時間，不代表觀看、喜歡或留言都在那時重新觀測。
- 觀看歷史
- 圖上每個點是實際儲存的觀測，連線只為方便閱讀，不代表中間時間的測量值；沒有歷史觀測時不建立時間序列。
- 喜歡占互動
- 喜歡 ÷（喜歡＋不喜歡＋顯示留言），任一來源缺值時不估算。
- 字幕
- 只記錄來源是否提供字幕，尚未擷取逐字稿，因此字幕不列入標籤比對。
- 觀測分析
- 直播逐時／逐日最高同時在線取自所讀直播紀錄；讀取上限、略過與解析失敗的筆數列在「資料涵蓋範圍與解析限制」。
共同標籤
標籤來源：新文易數（tag.observe.tw）。共同標籤以文字比對影片標題與說明，不是 AI 判讀；命中不代表事件歸屬或立場，與頻道分類分開。標題或說明出現標籤，不代表影片主題；可能來自固定宣傳或版權文字。字幕尚未取得，不列入比對。
- 比對範圍
- 僅列出目前詞彙版本與影片標題、說明仍相符的比對結果；待比對或來源文字已變動的影片不列入，數量見「收錄與比對範圍」。
- 期間
- 「往前 N 日」包含今天與前 N 天，共 N+1 個台北日曆日（往前 7 日為 8 個日曆日）；指定起訖日期時以實際起訖日為準。日數、日期與小時條件同時套用。
- 命中片段
- 每支影片最多顯示 3 段，標示來自標題、說明或字幕；沒有片段時顯示「沒有命中片段」，來源文字缺漏時顯示「來源文字未提供」，不另行補寫。完整比對依據在影片頁的「共同標籤與比對依據」。
- 顯示排除
- 符合標籤顯示規則的詞（上游排除詞、雜訊、純數字或日期、長度不符，以及核定的來源或平台名稱、雙字通用詞、國家城市政黨詞、少數 YouTube 平台或宣傳用語）整詞不列入排行，但仍保留在原始詞彙池與比對證據中；原始詞彙池列出排除原因。雙字通用詞只依核定清單判定，包含它們的人名、事件或具體議題不會因此被排除。管理員也可以在排行上直接排除個別標籤，同樣只影響排行顯示，每次排除與恢復都留有紀錄。
- 說明欄樣板
- 同一頻道說明欄反覆出現的宣傳段落不列入比對。「24小時」這類詞只在這種重複宣傳段落中略過，出現在一般新聞內容時照常計入；這不同於整詞的顯示排除。
- 示例
- 列表與片段只是符合條件的影片例子，不能用來推算整體比例或全站失真程度；有效比對的影片比例只代表比對完成度。
- 觀看
- 累計觀看是取得當時的公開觀測值，不是期間增量；無觀看值的影片不當作 0。
本頁資料範圍
觀看數與互動數為取得當時的公開觀測值。
時間序列只有一筆有效觀測時，只列出該值與觀測時間，不畫走勢圖；累積兩筆以上才畫圖。
資料來源
本站以納入名單的 YouTube 頻道與影片為範圍（名單見頻道觀測），數據來自 YouTube 公開資料與定時觀測：直播約每分鐘輪詢一次，頻道統計、新影片與影片統計則分批輪流更新，所以同一頁的數字不一定在同一時間取得。不涵蓋全 YouTube；缺漏、尚未收錄或資料服務中斷都不等於零，尚未取得的數值顯示「—」。
頁面使用台北時間（UTC+8）。「更新於」是來源已記錄的觀測時間；來源沒有記錄時顯示「未記錄」，不以開啟網頁的時間代替。
共同標籤詞彙的標籤來源：新文易數（tag.observe.tw），保留來源、版本與比對依據；本站的頻道分類沿用有影儀表板的來源組織方式，與內容標籤是不同維度。影片數、觀看數與直播同時在線人數分開計算，不代表 YouTube 全站流量，也不表示因果關係。