鴻海iSEE夢想家
i SEE夢想家語錄By耐能智慧股份有限公司 創辦人暨執行長 劉峻誠 CPU、GPU跟NPU的架構有很大的先天性差異，我把CPU比喻為坦克車，它主要的工作是打仗，GPU是卡車，主要是載貨物， NPU有點像是在城市發明的小客車，它一定是比GPU更省油。其實GPU最適合遊戲影像，NPU最適合做AI。 AI發展的第一階段是以訓練為主，當訓練出來的模型都沒有差異的時候，大家就不買訓練用的GPU，開始進入第二階段，只做推論，這時候ASIC跟NPU就會有優勢，因為成本較低、耗電較少，當然GPU在第二階段也有它的市場，但是就不會像訓練的階段，只有高階GPU獨佔。當大家開始只做推論的時候，就開始會有一群人開始進入第三階段，把模型做小，方法其實跟這一次DeepSeek用的方法很類似，主要是transfer learning(轉移學習) Quantization(量化)，Distillation(蒸餾)跟Pruning(剪枝)，核心物理意義是，腦其實不用用到這麼大，可能只有某些部分在啟用，那就只要做要啟用的部分，其他就不要用了，功耗也不用大，就是把模型變到端。很多技術的迭代，當把它變小然後放在端的時候，方案就會百花齊放，今天的大語言模型其實也在重複這三個階段，只是DeepSeek把第一階段、第二階段跟第三階段的引擎加得更快。 EP286 AI晶片NPU新希望？！ https://www.youtube.com/watch?v=XBPSe... ＃iSEE夢想家語錄 ＃鴻海 ＃iSEE夢想家 ＃科技 ＃科普 ＃劉峻誠 ＃耐能 ＃NPU ＃AI晶片 ＃神經網路處理器 ＃推論 ＃耗能 ＃DeepSeek ＃訓練 ＃模型縮小 ＃蒸餾 ＃量化 ＃剪枝
6 months ago | [YT] | 11
鴻海iSEE夢想家
i SEE夢想家語錄By耐能智慧股份有限公司 創辦人暨執行長 劉峻誠
CPU、GPU跟NPU的架構有很大的先天性差異，我把CPU比喻為坦克車，它主要的工作是打仗，GPU是卡車，主要是載貨物， NPU有點像是在城市發明的小客車，它一定是比GPU更省油。其實GPU最適合遊戲影像，NPU最適合做AI。
AI發展的第一階段是以訓練為主，當訓練出來的模型都沒有差異的時候，大家就不買訓練用的GPU，開始進入第二階段，只做推論，這時候ASIC跟NPU就會有優勢，因為成本較低、耗電較少，當然GPU在第二階段也有它的市場，但是就不會像訓練的階段，只有高階GPU獨佔。當大家開始只做推論的時候，就開始會有一群人開始進入第三階段，把模型做小，方法其實跟這一次DeepSeek用的方法很類似，主要是transfer learning(轉移學習) Quantization(量化)，Distillation(蒸餾)跟Pruning(剪枝)，核心物理意義是，腦其實不用用到這麼大，可能只有某些部分在啟用，那就只要做要啟用的部分，其他就不要用了，功耗也不用大，就是把模型變到端。很多技術的迭代，當把它變小然後放在端的時候，方案就會百花齊放，今天的大語言模型其實也在重複這三個階段，只是DeepSeek把第一階段、第二階段跟第三階段的引擎加得更快。
EP286 AI晶片NPU新希望？！
https://www.youtube.com/watch?v=XBPSe...
＃iSEE夢想家語錄 ＃鴻海 ＃iSEE夢想家 ＃科技 ＃科普 ＃劉峻誠 ＃耐能 ＃NPU ＃AI晶片 ＃神經網路處理器 ＃推論 ＃耗能 ＃DeepSeek ＃訓練 ＃模型縮小 ＃蒸餾 ＃量化 ＃剪枝
6 months ago | [YT] | 11