【數位關鍵字Podcast】EP263.Apple、Google 為什麼都擁抱 NPU？雲和端並存的 AI 新算盤ft. 耐能劉峻誠 Albert

最近好幾家企業的主管都說，一年的雲端預算因為 AI，幾個月就燒光了。大家都知道訓練模型很貴，但真正每天在燒錢的其實是推論，也就是每個人每天打開 AI 問問題時用掉的 token。當雲上的模型從 300B 擴大到號稱 3T 參數，企業還該追求最大的模型嗎？數位時代創新長黃亮崢 James 第三度邀請耐能（Kneron）創辦人暨執行長劉峻誠 Albert，這次不解釋晶片，而是從 AI 帳單切入，拆解推論為什麼這麼貴、Apple 與 Google 為什麼都走向 NPU，以及端雲並存的時代，AI 究竟該放在哪裡。 聽完這集你可以學到： 1. 推論貴，是因為拿訓練晶片來跑：Albert 形容，用訓練用的大晶片跑推論，就像開墾完荒地，還用同一台重型開墾機去插秧。雲上模型從去年的 300B 擴大到號稱 3T 參數，等於拿十倍大的機器做插秧的事，浪費也跟著放大。 2. AI 分三階段，各有擅長的晶片：訓練階段是 GPU 的優勢；推論階段需要便宜、專做推論的 AI ASIC，博通、聯發科都在投入；到了端側裝置，就是功耗低、面積小的 NPU 的主場。CPU、GPU、ASIC 與 NPU 各有自己的市場。 3. 模型要剛剛好，不是越大越好：臺灣一家市值前三大的企業，每月付給公有雲業者約 200 萬美元，而且只開放給主管以上使用。Albert 建議把行政、改錯字這類簡單工作交給小模型或免費工具，估計能省下 40% 到 50% 的花費，就像切水果不必拿殺牛刀。 4. 指標要看場景：機器架在自家地端、電費自己付，就會在意 tokens per watt，也就是每瓦電能產出多少 token；用雲端服務、錢由業者付的時候，在意的則是速度，也就是 tokens per second。 5. 端與雲會並存，關鍵是誰擁有：Albert 認為太陽底下沒有新鮮事，從個人電腦對上超算中心，到 Chromebook 主張全部上雲，同樣的爭論一再出現，最後端與雲都會各自找到位置。他用 Uber 與自己買車比喻：用雲端 AI 是需要時叫車，模型、資料與機器都在自己手上，掌握度才高。 6. Apple、Google 都在走 NPU 路線：Albert 觀察兩家公司都開始公開談 NPU，Google 稱為 TPU，但屬於類似架構。家裡的裝置要像人一樣溝通順暢，最好用同一種腦，他比喻，貓腦與狗腦的裝置很難聽懂彼此。 7. TOPS 不是最重要的數字：同樣 3 TOPS，CPU、GPU、NPU 擅長的運算完全不同。Albert 用跑車比喻，900 馬力但轉換率只有一成，有效馬力只剩 90，反而跑不贏轉換率百分之百的 300 馬力。 8. 整合有代價，獨立 NPU 有空間：CPU、GPU、NPU 整合在同一顆晶片，效能會各掉約 30%。手機這類面積受限的裝置適合整合，超算中心則一定用獨立晶片，就像有人買瑞士刀，也有人只要一把好用的水果刀。 9.臺灣談主權 AI，繞不過水電：Albert 提到韓國政府計畫讓超算中心以 NPU 為主。他粗估臺灣若全走 GPU 路線，一年電費約 60 億美元、需要 169 GW 的電，等於得多蓋一座電廠。水電在臺灣是政治敏感題，但他強調，不研究、不仔細談就不會前進。 // 延伸閱讀： 劉峻誠觀點：當蘋果、Google開始擁抱NPU路線（風傳媒）：https://www.storm.mg/article/11154120 數位關鍵字151．從0到1的AI晶片革命：NPU如何重塑智慧世界：https://www.bnext.com.tw/podcast/656/bn-sound-20240908215439-e3tkc4bc 數位關鍵字174．從 DeepSeek 開源看半導體市場震盪！NPU 將如何重塑 AI 運算格局？：https://www.bnext.com.tw/podcast/756/bn-sound-20250208155129-f5g9dnba最近好幾家企業的主管都說，一年的雲端預算因為 AI，幾個月就燒光了。大家都知道訓練模型很貴，但真正每天在燒錢的其實是推論，也就是每個人每天打開 AI 問問題時用掉的 token。當雲上的模型從 300B 擴大到號稱 3T 參數，企業還該追求最大的模型嗎？數位時代創新長黃亮崢 James 第三度邀請耐能（Kneron）創辦人暨執行長劉峻誠 Albert，這次不解釋晶片，而是從 AI 帳單切入，拆解推論為什麼這麼貴、Apple 與 Google 為什麼都走向 NPU，以及端雲並存的時代，AI 究竟該放在哪裡。 聽完這集你可以學到： 推論貴，是因為拿訓練晶片來跑：Albert 形容，用訓練用的大晶片跑推論，就像開墾完荒地，還用同一台重型開墾機去插秧。雲上模型從去年的 300B 擴大到號稱 3T 參數，等於拿十倍大的機器做插秧的事，浪費也跟著放大。 AI 分三階段，各有擅長的晶片：訓練階段是 GPU 的優勢；推論階段需要便宜、專做推論的 AI ASIC，博通、聯發科都在投入；到了端側裝置，就是功耗低、面積小的 NPU 的主場。CPU、GPU、ASIC 與 NPU 各有自己的市場。 模型要剛剛好，不是越大越好：臺灣一家市值前三大的企業，每月付給公有雲業者約 200 萬美元，而且只開放給主管以上使用。Albert 建議把行政、改錯字這類簡單工作交給小模型或免費工具，估計能省下 40% 到 50% 的花費，就像切水果不必拿殺牛刀。 指標要看場景：機器架在自家地端、電費自己付，就會在意 tokens per watt，也就是每瓦電能產出多少 token；用雲端服務、錢由業者付的時候，在意的則是速度，也就是 tokens per second。 端與雲會並存，關鍵是誰擁有：Albert 認為太陽底下沒有新鮮事，從個人電腦對上超算中心，到 Chromebook 主張全部上雲，同樣的爭論一再出現，最後端與雲都會各自找到位置。他用 Uber 與自己買車比喻：用雲端 AI 是需要時叫車，模型、資料與機器都在自己手上，掌握度才高。 Apple、Google 都在走 NPU 路線：Albert 觀察兩家公司都開始公開談 NPU，Google 稱為 TPU，但屬於類似架構。家裡的裝置要像人一樣溝通順暢，最好用同一種腦，他比喻，貓腦與狗腦的裝置很難聽懂彼此。 TOPS 不是最重要的數字：同樣 3 TOPS，CPU、GPU、NPU 擅長的運算完全不同。Albert 用跑車比喻，900 馬力但轉換率只有一成，有效馬力只剩 90，反而跑不贏轉換率百分之百的 300 馬力。 整合有代價，獨立 NPU 有空間：CPU、GPU、NPU 整合在同一顆晶片，效能會各掉約 30%。手機這類面積受限的裝置適合整合，超算中心則一定用獨立晶片，就像有人買瑞士刀，也有人只要一把好用的水果刀。 臺灣談主權 AI，繞不過水電：Albert 提到韓國政府計畫讓超算中心以 NPU 為主。他粗估臺灣若全走 GPU 路線，一年電費約 60 億美元、需要 169 GW 的電，等於得多蓋一座電廠。水電在臺灣是政治敏感題，但他強調，不研究、不仔細談就不會前進。 延伸閱讀： 劉峻誠觀點：當蘋果、Google開始擁抱NPU路線（風傳媒）：https://www.storm.mg/article/11154120 數位關鍵字151．從0到1的AI晶片革命：NPU如何重塑智慧世界：https://www.bnext.com.tw/podcast/656/bn-sound-20240908215439-e3tkc4bc 數位關鍵字174．從 DeepSeek 開源看半導體市場震盪！NPU 將如何重塑 AI 運算格局？：https://www.bnext.com.tw/podcast/756/bn-sound-20250208155129-f5g9dnba