【生成式AI時代下的機器學習(2025)】第十二講：語言模型如何學會說話 — 概述語音語言模型發展歷程

投影片連結：https://docs.google.com/presentation/d/1JjbWkIMOWKmeouWtrMi7ph5-2j8TPlUF/edit?usp=sharing&ouid=115046073158939078465&rtpof=true&sd=true 如果想了解更多語音語言技術相關的內容，可以參考以下資料： Towards Holistic Evaluation of Large Audio-Language Models: A Comprehensive Survey https://arxiv.org/abs/2505.15957 On The Landscape of Spoken Language Models: A Comprehensive Survey https://arxiv.org/abs/2504.08528 Recent Advances in Discrete Speech Tokens: A Review https://arxiv.org/abs/2502.06490 WavChat: A Survey of Spoken Dialogue Models https://arxiv.org/abs/2411.13577 A Survey on Speech Large Language Models https://arxiv.org/abs/2410.18908 Recent Advances in Speech Language Models: A Survey https://arxiv.org/abs/2410.03751 Towards audio language modeling -- an overview https://arxiv.org/abs/2402.13236 Speech Trident - Awesome Speech LM https://github.com/ga642381/speech-trident 0:10 過去課程中已經概述過影像生成的方法，請參考 【生成式 AI 導論 2024】第17講：有關影像的生成式 AI（上）— AI 如何產生圖片和影片（Sora 背後可能用的原理） https://youtu.be/5H2bVEmYDNg?si=cBeUtzwvtUG6xUcf 【生成式 AI 導論 2024】第18講：有關影像的生成式 AI（下）— 快速導讀經典影像生成方法（VAE、Flow、Diffusion、GAN）以及與生成的影片互動 https://youtu.be/OYN_GvAqv-A?si=E-rYJ2WMn9hf32c1 2:20 其實 Moshi 在 2024 年 7 月就已經公開可以測試的展示平台，10 月是模型參數釋出的時間 2:30 2024 年 5 月 gpt-4o 做展示後，我錄了一個影片講對於其背後語音技術的猜測，請見以下連結：https://youtu.be/CgQ3lUOpXgc?si=0L7LAaFW8iFfMwrP 5:15 這裡講得不太精確，其實依據 Maya 的回應，她可以稍微聽懂一些中文，但她目前完全無法用中文進行回復 5:45 這裡好像對她太嚴厲了…… 23:00 想知道更多有關 Auto-encoder 的事情可以參見過去的課程錄影 【機器學習2021】自編碼器 (Auto-encoder) (上) – 基本概念 https://youtu.be/3oHlf8-J3Nc?si=nZazpWqzl4cixLJ8 【機器學習2021】自編碼器 (Auto-encoder) (下) – 領結變聲器與更多應用 https://youtu.be/JZvEzb5PV3U?si=S-CcZpwVRmQuDBPg 31:00 有關 Autoregressive 和 Non-autoregressive 的比較，可以參考過去的課程錄影。 【生成式 AI 導論 2024】第15講：為什麼語言模型用文字接龍，圖片生成不用像素接龍呢？— 淺談生成式人工智慧的生成策略 https://youtu.be/QbwQR9sjWbs?si=_3Z6PcAt_gsHqM1F 1:02:48 其實 Moshi 有使用多組 Audio Token，但上課時為了簡化講解，這裡就沒有特別提。 1:10:15 口誤：「會有文字 Token ...」應為「會有語音 Token ...」 1:15:57 此處的回音是錄音造成的問題 1:16:24 此處的雜音是語音語言模型自己產生出來的 1:17:40 這是上課提到的黃仁勳版本: https://youtu.be/UkrYh8_bktg?si=RJ6dmZX7w__ypmM-