AI NEXT 論壇--AI 2.0運算雲地端產業生態系
加速企業 AI 應用落地
為讓各行各業更加了解在 AI 2.0 時代下的雲地端企業 AI 導入策略,台北市電腦公會與亞洲.矽谷物聯網產業大聯盟合作於 5 月 6 日(二)於台北漢來飯店辦理「AI NEXT FORUM」,邀請英特爾、Amazon Web Services(AWS)、緯穎、麥肯錫、資策會、研華、華碩、雙鴻、台達等海內外科技大廠與產業專家(以上以演講順序排名),全方位分享企業面對 AI 科技導入策略,涵蓋 AI 雲端、AI 伺服器、AI 工作站、AI PC、邊緣 AI 設備,以及近來相當熱門的 Agentic AI(代理型AI),另外英特爾、永擎電子、卓越電子、智捷科技等多家科技大廠,也於現場展示各類企業AI創新解決方案。
AI NEXT FORUM「AI生態系關鍵時刻」上午場
近年來生成式 AI(GenAI)、大型語言模型(LLM)、視覺語言模型(VLM)等各類 AI 科技持續快速發展,讓不少企業主管深入研究 AI 科技對企業運作的影響層面。
為讓各大產業主管與相關 ICT 產業人士,更加了解在 AI 2.0 時代下的雲地端AI應用,進而依照企業營運特性規劃 AI 導入策略,在 5 月 6 日於台北漢來飯店辦理「AI NEXT FORUM」,上午場聚焦「AI生態系關鍵時刻」,邀請英特爾亞太暨日本區總經理莊秉翰、Amazon Web Services(AWS)台灣暨香港總經理王定愷、緯穎董事長暨策略長洪麗寗、McKinsey & Company全球董事合夥人李曉廬等產業專家,分別從 AI 晶片技術、AI 算力革新、企業雲端 AI 創新、全球 AI 算力產業格局、全球 AI 生態系發展、企業 AI 轉型契機等面向進行專題演講。
為協助與會人士實地體驗企業導入 AI 優勢,AI NEXT FORUM 邀請英特爾、永擎電子、卓越電子、智捷科技等多家科技大廠,現場展示英特爾新一代 Intel Core Ultra 與 Intel Xeon 處理器、NVIDIA Blackwell 企業 AI 伺服器、AI 邊緣監控整合盒、AI 邊緣運算平台等產品。國科會晶創競賽(ICTGC)也在現場介紹第三梯次徵案。
以 AI NEXT 為主題 聚焦 AI 2.0 時代核心硬體與跨域解決方案
AI NEXT論壇,聚焦AI 2.0時代的技術策略,涵蓋生成式AI、企業資料中心、公私雲部署、AI伺服器與大語言模型的整合應用。邀請來自英特爾、AWS、緯穎、McKinsey & Company、資策會、研華、華碩與台達等業界領袖,共同分享實戰經驗,激盪更多轉型思維與合作契機。
英特爾推動開放與多元架構,協助企業加速導入AI解決方案
英特爾亞太暨日本區總經理莊秉翰在主題演講中指出,隨著 AI 技術的快速發展與複雜的使用情境,企業需要更開放且多元的解決方案,以提升效率和成本效益。英特爾致力於整合 CPU、GPU、NPU、FPGA 等異質運算資源,以滿足各種應用需求。同時,英特爾透過推動開放的生態系,如促進開放平臺聯盟(Open Platform for Enterprise AI,OPEA)的發展,並提供標準化與一體化的開發環境,讓開發者能在不同架構間無縫創新,協助企業從資料中心、雲端、PC 到終端設備,都可靈活部署 AI 解決方案,確保最佳化的運算效能與商業價值。
Amazon Nova可以針對文字、影像與影片 提供多模態生成式AI模型服務
AWS台灣暨香港總經理王定愷表示,亞馬遜具備超過25年的AI、機器學習(ML)技術與經驗,致力於開發自動化系統,以解決實際問題、服務實際客戶並創造實際價值。2024 年 12 月,亞馬遜推出 Amazon Nova 這個突破性的 AI 基礎模型,能夠處理文字、影像與影片,而當中最特別的是Amazon Nova Sonic模型,不僅可以將語音及時轉錄為文本,還可以將文本生成為語音;而且可以透過Amazon Bedrock無縫整合使用。Amazon Nova 不僅速度快、功能強大,還徹底改變了使用者與 AI 的互動方式。
因應全球AI資料中心需求 緯穎打造供應韌性 擴張生產據點 提升L12系統階段供貨能力
緯穎董事長暨策略長洪麗寗指出,台灣在全球ICT產業扮演重要角色,不僅供應全世界 92% 伺服器,在上游的半導體與零組件也在市場佔有領先地位。隨著AI需求快速攀升,資料中心伺服器的技術與市場展現出不同以往的面貌。為因應算力需求的激增,晶片功耗與散熱技術不斷突破極限,成為AI資料中心建置與規劃時的關鍵。此外,市場也湧現許多新興買家,再加上各國對主權AI的需求,為市場帶來更多發展機會。緯穎已將AI伺服器整合能力提升至L12,除了提供整機櫃製造組裝服務外,更進一步協助客戶進行AI伺服器在資料中心的規劃與部署。為滿足全球市場需求,緯穎在台灣、馬來西亞、墨西哥、捷克等地建置伺服器產線,就近服務亞洲、美洲與歐洲客戶。同時,公司亦在美國設廠,投資智慧製造,藉此提升供應鏈韌性,強化AI時代的全球競爭優勢。
企業須依照不同業務內容需求 導入正確AI解決方案進行數位轉型 方能以AI提升企業競爭力
McKinsey & Company全球董事合夥人李曉廬介紹全球AI生態系快速發展的現況,以及AI可以在各行各業數位轉型的關鍵角色,尤其是當AI資料中心運算能量越來越強大,演算法快速發展更新,再加上運算產生token所需耗能越來越低的情況,其實企業可以依照不同的應用情境,導入正確的AI運算架構,進而提升企業營運效率、降低人員需求,甚至創造新的商業模式。此外,針對近來相當熱門的Agentic AI(代理式AI),李曉廬認為可透過多代理協作協定(Multi-agent Collaboration Protocol)方式,依照企業不同需求,整合多個AI LLM語言模型,進而解決企業AI運算問題。
AI NEXT FORUM「AI生態系的新金礦–企業AI中心」下午場
生成式 AI(GenAI)與多模態AI(Multimodal AI)模型不斷推陳出新,已讓各行各業必須直接面對AI科技數位轉型的迫切壓力,McKinsey & Company日前發布的 Superagency in the Workplace 研究報告更表示,AI 科技帶來的長期發展機會上看4.4兆美元,企業受影響對象將涵蓋企業主管、企業員工甚至是企業營運模式,AI科技對百工百業的影響,就跟蒸汽機對19世紀工業革命的影響一樣無遠弗屆。
為讓各大產業主管與相關 ICT 產業人士,更加了解在 AI 2.0 時代下的雲地端AI應用,進而依照企業營運特性規劃 AI 導入策略,「AI NEXT FORUM」,下午場聚焦「AI生態系的新金礦 - 企業AI中心」,邀請資策會產業情報研究所(MIC)所長洪春暉、研華嵌入式事業群總經理張家豪、華碩共同執行長胡書賓、雙鴻董事長林育申、台達電源及系統事業群副總裁暨總經理陳盈源等產業專家,從AI 2.0技術突破、邊緣AI賦能機器人產業創新、AI基礎設施與AI數據中心建置、AI運算系統的電力與散熱解決方案等面向進行專題演講。TCA並邀請英特爾、永擎電子、卓越電子、智捷科技等多家科技大廠,現場展示英特爾新一代 Intel Core Ultra 與 Intel Xeon 處理器、NVIDIA Blackwell 企業 AI 伺服器、AI 邊緣監控整合盒、AI 邊緣運算平台等產品,國科會晶創競賽(ICTGC)也在現場介紹第三梯次徵案。
企業需建構專屬AI應用 方能將AI科技轉化成經營助力 進而提升企業競爭力
台北市電腦公會榮譽理事長童子賢致詞時指出,台灣在這一場AI的進步和革命中沒有缺席,也不能缺席,台灣一直是全球數位科技產業的重要夥伴、參與者和合作者,從40年前的個人電腦萌芽,到網路誕生,到進入能感測與智慧AIOT年代,一直進展到如今這一波AI應用。AI是另外一個里程碑,當AI打造完成基礎後,接下來就是要進入應用的年代,預期未來幾年會逐漸讓AI高度成長,跟浸潤式瀰漫在我們科技產品的身邊,十年後的世界就不用刻意去強調AI,就如同現在的世界不用特別去強調網路,因為網路已經無所不在。
童子賢表示,今天要探討的就是企業如何打造自己的AI中心,讓企業在這一篇AI革命中不要落後。向來台灣產業過往有個被批評的點,就是重生產、輕應用,重硬體製造、輕軟體研發。首先是算力,在AI這一波發展中,台灣在AI基礎結構跟硬體製造上有目共睹,尤其半導體產業、電路板、系統、機櫃製造上扮演全球AI算力關鍵核心角色。演算法的突破對AI發展很重要,這一波是2017年Transformer演算法起來,被實現在2022年OpenAI所發表ChatGPT 的GPT-3.5被引爆,當然ChatGPT只是大潮流下的引爆點之一,但是全世界對於AI的發展熱潮就被帶動起來了。
童子賢認為,在算力跟演算法之後,就是大數據的發展,而大數據不會掌握在一個人的手上或一個領域的手上,將牽涉到應用,不同的領域有不同的應用。發展AI的幾個條件,算力、演算法、大數據,條件已經成熟到可以把AI從理論推向各個應用場域的階段。所以下午的論壇會注重在,企業如何建構自己的AI應用,如何將科技的熱潮,轉化成企業經營的助力,進而提升自己的競爭力。
AI以人為中心 在生活與產業中落地 邊緣資料中心與AI終端裝置將提升市場接受度
資策會產業情報研究所(MIC)所長洪春暉在「AI新局,台灣AI軟硬體現況與展望」主題演講中點出,生成式AI朝向更大參數規模的大型語言模型(LLM)或專用領域的小型語言模型(SLM)發展,由於開源版本大量釋出,表現已經接近非開源模型。而AI應用發展趨勢中,AI將以人為中心,在生活與產業中落地生根,包括AI Agent、AI+終端裝置、AI賦能人形機器人等。至於AI應用落地與場域則相當多元化,目前在台灣的案例已經包括:病理診斷(雲象科技)、協作機器人(達明機器人 Techman Robot)、軟體定義工廠(MetAI)、風險帳戶警示(富邦銀行)、動畫創作(智寶國際)等多樣化場域。
展望2025市場發展,洪春暉指出AI算力需求帶動雲端資料中心擴建,AI PC換機潮與應用成熟進一步推動終端市場成長,並認為DeepSeek將帶動一波創新AI模型,短期雖影響大型資料中心建置規劃,卻也提供邊緣資料中心與AI終端裝置的採用新思維,預估將提升市場接受度。AI運算需求也將促進半導體先進製程、先進封裝與記憶體技術進步,讓科技大廠開發彈性組合的AI晶片,進而滿足Edge AI應用的少量多樣需求,創造更多Edge AI應用。
以邊緣運算平台與機器人核心架構 加速廠商開發多元應用場域的機器人解決方案
研華嵌入式事業群總經理張家豪在「邊緣 AI 賦能機器人產業創新」主題演講中表示,全球 AI 與邊緣運算科技快速發展,2032 年全球 Edge AI 市場規模上看 1436 億美元,而且應用領域涵蓋智慧製造、機器人、健康照護、智慧城市等場域;而在熱門的機器人領域當中,包括 AGV、AMR、機器手臂、巡檢機器人、服務型機器人、人形機器人等都需要 Edge AI 的技術。由於廠商開發機器人需要整合各類邊緣 AI 運算、感測模組軟硬體零組件,因此研華提出一套機器人核心架構,包括各項技術模組 (Building Blocks),包含 Edge AI Platform 的決策核心平台、感知與控制模組、系統整合能力,以支持機器人產業發展,除此之外,同步提供 Robotic Suite 軟體開發套件,加速產業機器人開發並落地上市,並持續提供更先進的 Edge Computing 平台,將 AI 技術導入,Edge + AI 將成為 Edge Computing 標準配備。
除了雲端資料中心持續發展,企業數據隱私安全與高效率小型語言模型快速發展 也加速企業本地AI資料中心建置需求
華碩共同執行長胡書賓在「AI數據中心佈局與發展」主題演講中指出,不管是大型語言模型的發展或是AI技術應用場域的推進,從Generative AI,朝向具備推裡規劃能力的Agentic AI,到能感知及回應實際物理世界的Physical AI,最後朝向人工智慧的終極聖杯- AGI通用人工智慧方向前進都成為AI data center市場成長的主要驅動力,包括雲端與本地端。華碩擁有完整的軟硬體研發能力、客製化彈性,為客戶提供end-to-end從硬體、軟體、平台軟體到建置、維運服務的AI server數據中心全方位解決方案。華碩從2011年起,已在台灣完成多座中大型 AI 資料中心建置,2024年更參與台灣最大的AI超算中心「Ubilink」,其算力高達到45.82 PFLOPs,累積了從設計到部署的完整解決方案,並具備L10到L12系統階段能力。
此外,由於企業對數據隱私安全和本地運算需求提高,再加上近年來高效率的小型語言模型如DeepSeek R1、LLaMA 4 Scout、Microsoft Phi-4等快速發展,使得小型化高效能的本地 AI 部署成為企業AI資料中心新趨勢,因此華碩對應推出各類本地AI資料中心用AI伺服器,包括4U、2U、1U、工作站與超小型桌面級AI超級電腦Ascent GX10(GB10),主要執行微調過的LLM或SLM,應用在如企業內部知識管理、AI 助理以及文件檢索增強生成(RAG)等場景,華碩並提供業界首創的 Multi-LM Tuner 工具,可以在本地資料中心直接進行語言模型微調,提升數據中心的運行效率與穩定性,並讓語言模型更能符合企業本地AI運算需求。
AI晶片TDP持續快速增加 推動AI資料中心全面導入液冷散熱趨勢不可逆
雙鴻董事長林育申在「AI基礎設施與先進散熱技術」主題演講中表示,當算力即國力成為各國AI軍備競賽趨勢,使得AI基礎設施需求持續增加,預估2028年全球市場規模上看900億美元。由於新AI伺服器耗電量大增,而且一台AI機櫃的散熱部分佔總體耗電量高達39%,再加上液冷散熱PUE(電源使用效率)遠低於傳統氣冷散熱,使得未來AI機房朝向液冷發展趨勢不可逆,因為液冷可有效降低AI資料中心整體用電量。
林育申也指出,液冷散熱技術的快速發展,也是因應AI伺服器用電量大幅增加的關係,以NVL 32為例,耗電量為55kW,所以還能用氣冷散熱,但是到NVL 72,耗電量增加至132kW,就一定要採用液冷方案,而未來的機櫃版本耗電量甚至上看300kW以上,如果沒有更先進的液冷散熱技術,就無法解決新AI晶片TDP(熱設計功耗)快速成長的散熱問題。
提升AI資料中心端到端能效 高功率機架式電容模組可穩定用電負載
台達電源及系統事業群副總裁暨總經理陳盈源在「AI運算挑戰 - 電力和散熱解決方案」主題演講中直接點出,隨著AI算力持續提升,AI資料中心用電量也持續上升。Gartner報告指出2024年全球AI資料中心耗電量達261TWh,接近台灣2024年用電總量283TWh,使得AI資料中心用電需求規劃已成為擴建AI資料中心的重要關鍵。因此台達透過解析從AI晶片到資料中心用電需求,設計出AI資料中心電網到晶片(Grid-to-Chip)完整電源解決方案,並且提供L2A CDU、L2L CDU等不同散熱解決方案。
陳盈源表示,在傳統AC供電資料中心架構中,在經過基礎設施、機櫃到伺服器,端到端能效約為87.6%,而且負載快速變動會對電網產生衝擊。因此台達設計出高功率機架式電容模組(PCS),其內建鋰離子電容,能夠進行快速充放電,透過削峰填谷的方式確保用電負載平穩。而為了提升用電效率,台達為AI資料中心推出創新高壓直流(HVDC)電源架構,也就是將中壓電網(10 kVAC ~ 33 kVAC)變壓至800 VDC,然後搭配電源機櫃與機架式電容機櫃穩定負載,再使用DC-DC轉換模組降壓至AI晶片需求的0.65V,簡化AC-DC轉換過程,即可把端到端能效提升至89%~92%,大幅提高AI資料中心能源效率。
AI NEXT FORUM中文版影片【COMPUTEX 2025】AI NEXT FORUM- Cloud x Edge AI x Data Center - Chinese Version
https://youtu.be/BmLiHItX2Cw
為讓各行各業更加了解在 AI 2.0 時代下的雲地端企業 AI 導入策略,台北市電腦公會與亞洲.矽谷物聯網產業大聯盟合作於 5 月 6 日(二)於台北漢來飯店辦理「AI NEXT FORUM」,邀請英特爾、Amazon Web Services(AWS)、緯穎、麥肯錫、資策會、研華、華碩、雙鴻、台達等海內外科技大廠與產業專家(以上以演講順序排名),全方位分享企業面對 AI 科技導入策略,涵蓋 AI 雲端、AI 伺服器、AI 工作站、AI PC、邊緣 AI 設備,以及近來相當熱門的 Agentic AI(代理型AI),另外英特爾、永擎電子、卓越電子、智捷科技等多家科技大廠,也於現場展示各類企業AI創新解決方案。
AI NEXT FORUM「AI生態系關鍵時刻」上午場
近年來生成式 AI(GenAI)、大型語言模型(LLM)、視覺語言模型(VLM)等各類 AI 科技持續快速發展,讓不少企業主管深入研究 AI 科技對企業運作的影響層面。
為讓各大產業主管與相關 ICT 產業人士,更加了解在 AI 2.0 時代下的雲地端AI應用,進而依照企業營運特性規劃 AI 導入策略,在 5 月 6 日於台北漢來飯店辦理「AI NEXT FORUM」,上午場聚焦「AI生態系關鍵時刻」,邀請英特爾亞太暨日本區總經理莊秉翰、Amazon Web Services(AWS)台灣暨香港總經理王定愷、緯穎董事長暨策略長洪麗寗、McKinsey & Company全球董事合夥人李曉廬等產業專家,分別從 AI 晶片技術、AI 算力革新、企業雲端 AI 創新、全球 AI 算力產業格局、全球 AI 生態系發展、企業 AI 轉型契機等面向進行專題演講。
為協助與會人士實地體驗企業導入 AI 優勢,AI NEXT FORUM 邀請英特爾、永擎電子、卓越電子、智捷科技等多家科技大廠,現場展示英特爾新一代 Intel Core Ultra 與 Intel Xeon 處理器、NVIDIA Blackwell 企業 AI 伺服器、AI 邊緣監控整合盒、AI 邊緣運算平台等產品。國科會晶創競賽(ICTGC)也在現場介紹第三梯次徵案。
以 AI NEXT 為主題 聚焦 AI 2.0 時代核心硬體與跨域解決方案
AI NEXT論壇,聚焦AI 2.0時代的技術策略,涵蓋生成式AI、企業資料中心、公私雲部署、AI伺服器與大語言模型的整合應用。邀請來自英特爾、AWS、緯穎、McKinsey & Company、資策會、研華、華碩與台達等業界領袖,共同分享實戰經驗,激盪更多轉型思維與合作契機。
英特爾推動開放與多元架構,協助企業加速導入AI解決方案
英特爾亞太暨日本區總經理莊秉翰在主題演講中指出,隨著 AI 技術的快速發展與複雜的使用情境,企業需要更開放且多元的解決方案,以提升效率和成本效益。英特爾致力於整合 CPU、GPU、NPU、FPGA 等異質運算資源,以滿足各種應用需求。同時,英特爾透過推動開放的生態系,如促進開放平臺聯盟(Open Platform for Enterprise AI,OPEA)的發展,並提供標準化與一體化的開發環境,讓開發者能在不同架構間無縫創新,協助企業從資料中心、雲端、PC 到終端設備,都可靈活部署 AI 解決方案,確保最佳化的運算效能與商業價值。
Amazon Nova可以針對文字、影像與影片 提供多模態生成式AI模型服務
AWS台灣暨香港總經理王定愷表示,亞馬遜具備超過25年的AI、機器學習(ML)技術與經驗,致力於開發自動化系統,以解決實際問題、服務實際客戶並創造實際價值。2024 年 12 月,亞馬遜推出 Amazon Nova 這個突破性的 AI 基礎模型,能夠處理文字、影像與影片,而當中最特別的是Amazon Nova Sonic模型,不僅可以將語音及時轉錄為文本,還可以將文本生成為語音;而且可以透過Amazon Bedrock無縫整合使用。Amazon Nova 不僅速度快、功能強大,還徹底改變了使用者與 AI 的互動方式。
因應全球AI資料中心需求 緯穎打造供應韌性 擴張生產據點 提升L12系統階段供貨能力
緯穎董事長暨策略長洪麗寗指出,台灣在全球ICT產業扮演重要角色,不僅供應全世界 92% 伺服器,在上游的半導體與零組件也在市場佔有領先地位。隨著AI需求快速攀升,資料中心伺服器的技術與市場展現出不同以往的面貌。為因應算力需求的激增,晶片功耗與散熱技術不斷突破極限,成為AI資料中心建置與規劃時的關鍵。此外,市場也湧現許多新興買家,再加上各國對主權AI的需求,為市場帶來更多發展機會。緯穎已將AI伺服器整合能力提升至L12,除了提供整機櫃製造組裝服務外,更進一步協助客戶進行AI伺服器在資料中心的規劃與部署。為滿足全球市場需求,緯穎在台灣、馬來西亞、墨西哥、捷克等地建置伺服器產線,就近服務亞洲、美洲與歐洲客戶。同時,公司亦在美國設廠,投資智慧製造,藉此提升供應鏈韌性,強化AI時代的全球競爭優勢。
企業須依照不同業務內容需求 導入正確AI解決方案進行數位轉型 方能以AI提升企業競爭力
McKinsey & Company全球董事合夥人李曉廬介紹全球AI生態系快速發展的現況,以及AI可以在各行各業數位轉型的關鍵角色,尤其是當AI資料中心運算能量越來越強大,演算法快速發展更新,再加上運算產生token所需耗能越來越低的情況,其實企業可以依照不同的應用情境,導入正確的AI運算架構,進而提升企業營運效率、降低人員需求,甚至創造新的商業模式。此外,針對近來相當熱門的Agentic AI(代理式AI),李曉廬認為可透過多代理協作協定(Multi-agent Collaboration Protocol)方式,依照企業不同需求,整合多個AI LLM語言模型,進而解決企業AI運算問題。
AI NEXT FORUM「AI生態系的新金礦–企業AI中心」下午場
生成式 AI(GenAI)與多模態AI(Multimodal AI)模型不斷推陳出新,已讓各行各業必須直接面對AI科技數位轉型的迫切壓力,McKinsey & Company日前發布的 Superagency in the Workplace 研究報告更表示,AI 科技帶來的長期發展機會上看4.4兆美元,企業受影響對象將涵蓋企業主管、企業員工甚至是企業營運模式,AI科技對百工百業的影響,就跟蒸汽機對19世紀工業革命的影響一樣無遠弗屆。
為讓各大產業主管與相關 ICT 產業人士,更加了解在 AI 2.0 時代下的雲地端AI應用,進而依照企業營運特性規劃 AI 導入策略,「AI NEXT FORUM」,下午場聚焦「AI生態系的新金礦 - 企業AI中心」,邀請資策會產業情報研究所(MIC)所長洪春暉、研華嵌入式事業群總經理張家豪、華碩共同執行長胡書賓、雙鴻董事長林育申、台達電源及系統事業群副總裁暨總經理陳盈源等產業專家,從AI 2.0技術突破、邊緣AI賦能機器人產業創新、AI基礎設施與AI數據中心建置、AI運算系統的電力與散熱解決方案等面向進行專題演講。TCA並邀請英特爾、永擎電子、卓越電子、智捷科技等多家科技大廠,現場展示英特爾新一代 Intel Core Ultra 與 Intel Xeon 處理器、NVIDIA Blackwell 企業 AI 伺服器、AI 邊緣監控整合盒、AI 邊緣運算平台等產品,國科會晶創競賽(ICTGC)也在現場介紹第三梯次徵案。
企業需建構專屬AI應用 方能將AI科技轉化成經營助力 進而提升企業競爭力
台北市電腦公會榮譽理事長童子賢致詞時指出,台灣在這一場AI的進步和革命中沒有缺席,也不能缺席,台灣一直是全球數位科技產業的重要夥伴、參與者和合作者,從40年前的個人電腦萌芽,到網路誕生,到進入能感測與智慧AIOT年代,一直進展到如今這一波AI應用。AI是另外一個里程碑,當AI打造完成基礎後,接下來就是要進入應用的年代,預期未來幾年會逐漸讓AI高度成長,跟浸潤式瀰漫在我們科技產品的身邊,十年後的世界就不用刻意去強調AI,就如同現在的世界不用特別去強調網路,因為網路已經無所不在。
童子賢表示,今天要探討的就是企業如何打造自己的AI中心,讓企業在這一篇AI革命中不要落後。向來台灣產業過往有個被批評的點,就是重生產、輕應用,重硬體製造、輕軟體研發。首先是算力,在AI這一波發展中,台灣在AI基礎結構跟硬體製造上有目共睹,尤其半導體產業、電路板、系統、機櫃製造上扮演全球AI算力關鍵核心角色。演算法的突破對AI發展很重要,這一波是2017年Transformer演算法起來,被實現在2022年OpenAI所發表ChatGPT 的GPT-3.5被引爆,當然ChatGPT只是大潮流下的引爆點之一,但是全世界對於AI的發展熱潮就被帶動起來了。
童子賢認為,在算力跟演算法之後,就是大數據的發展,而大數據不會掌握在一個人的手上或一個領域的手上,將牽涉到應用,不同的領域有不同的應用。發展AI的幾個條件,算力、演算法、大數據,條件已經成熟到可以把AI從理論推向各個應用場域的階段。所以下午的論壇會注重在,企業如何建構自己的AI應用,如何將科技的熱潮,轉化成企業經營的助力,進而提升自己的競爭力。
AI以人為中心 在生活與產業中落地 邊緣資料中心與AI終端裝置將提升市場接受度
資策會產業情報研究所(MIC)所長洪春暉在「AI新局,台灣AI軟硬體現況與展望」主題演講中點出,生成式AI朝向更大參數規模的大型語言模型(LLM)或專用領域的小型語言模型(SLM)發展,由於開源版本大量釋出,表現已經接近非開源模型。而AI應用發展趨勢中,AI將以人為中心,在生活與產業中落地生根,包括AI Agent、AI+終端裝置、AI賦能人形機器人等。至於AI應用落地與場域則相當多元化,目前在台灣的案例已經包括:病理診斷(雲象科技)、協作機器人(達明機器人 Techman Robot)、軟體定義工廠(MetAI)、風險帳戶警示(富邦銀行)、動畫創作(智寶國際)等多樣化場域。
展望2025市場發展,洪春暉指出AI算力需求帶動雲端資料中心擴建,AI PC換機潮與應用成熟進一步推動終端市場成長,並認為DeepSeek將帶動一波創新AI模型,短期雖影響大型資料中心建置規劃,卻也提供邊緣資料中心與AI終端裝置的採用新思維,預估將提升市場接受度。AI運算需求也將促進半導體先進製程、先進封裝與記憶體技術進步,讓科技大廠開發彈性組合的AI晶片,進而滿足Edge AI應用的少量多樣需求,創造更多Edge AI應用。
以邊緣運算平台與機器人核心架構 加速廠商開發多元應用場域的機器人解決方案
研華嵌入式事業群總經理張家豪在「邊緣 AI 賦能機器人產業創新」主題演講中表示,全球 AI 與邊緣運算科技快速發展,2032 年全球 Edge AI 市場規模上看 1436 億美元,而且應用領域涵蓋智慧製造、機器人、健康照護、智慧城市等場域;而在熱門的機器人領域當中,包括 AGV、AMR、機器手臂、巡檢機器人、服務型機器人、人形機器人等都需要 Edge AI 的技術。由於廠商開發機器人需要整合各類邊緣 AI 運算、感測模組軟硬體零組件,因此研華提出一套機器人核心架構,包括各項技術模組 (Building Blocks),包含 Edge AI Platform 的決策核心平台、感知與控制模組、系統整合能力,以支持機器人產業發展,除此之外,同步提供 Robotic Suite 軟體開發套件,加速產業機器人開發並落地上市,並持續提供更先進的 Edge Computing 平台,將 AI 技術導入,Edge + AI 將成為 Edge Computing 標準配備。
除了雲端資料中心持續發展,企業數據隱私安全與高效率小型語言模型快速發展 也加速企業本地AI資料中心建置需求
華碩共同執行長胡書賓在「AI數據中心佈局與發展」主題演講中指出,不管是大型語言模型的發展或是AI技術應用場域的推進,從Generative AI,朝向具備推裡規劃能力的Agentic AI,到能感知及回應實際物理世界的Physical AI,最後朝向人工智慧的終極聖杯- AGI通用人工智慧方向前進都成為AI data center市場成長的主要驅動力,包括雲端與本地端。華碩擁有完整的軟硬體研發能力、客製化彈性,為客戶提供end-to-end從硬體、軟體、平台軟體到建置、維運服務的AI server數據中心全方位解決方案。華碩從2011年起,已在台灣完成多座中大型 AI 資料中心建置,2024年更參與台灣最大的AI超算中心「Ubilink」,其算力高達到45.82 PFLOPs,累積了從設計到部署的完整解決方案,並具備L10到L12系統階段能力。
此外,由於企業對數據隱私安全和本地運算需求提高,再加上近年來高效率的小型語言模型如DeepSeek R1、LLaMA 4 Scout、Microsoft Phi-4等快速發展,使得小型化高效能的本地 AI 部署成為企業AI資料中心新趨勢,因此華碩對應推出各類本地AI資料中心用AI伺服器,包括4U、2U、1U、工作站與超小型桌面級AI超級電腦Ascent GX10(GB10),主要執行微調過的LLM或SLM,應用在如企業內部知識管理、AI 助理以及文件檢索增強生成(RAG)等場景,華碩並提供業界首創的 Multi-LM Tuner 工具,可以在本地資料中心直接進行語言模型微調,提升數據中心的運行效率與穩定性,並讓語言模型更能符合企業本地AI運算需求。
AI晶片TDP持續快速增加 推動AI資料中心全面導入液冷散熱趨勢不可逆
雙鴻董事長林育申在「AI基礎設施與先進散熱技術」主題演講中表示,當算力即國力成為各國AI軍備競賽趨勢,使得AI基礎設施需求持續增加,預估2028年全球市場規模上看900億美元。由於新AI伺服器耗電量大增,而且一台AI機櫃的散熱部分佔總體耗電量高達39%,再加上液冷散熱PUE(電源使用效率)遠低於傳統氣冷散熱,使得未來AI機房朝向液冷發展趨勢不可逆,因為液冷可有效降低AI資料中心整體用電量。
林育申也指出,液冷散熱技術的快速發展,也是因應AI伺服器用電量大幅增加的關係,以NVL 32為例,耗電量為55kW,所以還能用氣冷散熱,但是到NVL 72,耗電量增加至132kW,就一定要採用液冷方案,而未來的機櫃版本耗電量甚至上看300kW以上,如果沒有更先進的液冷散熱技術,就無法解決新AI晶片TDP(熱設計功耗)快速成長的散熱問題。
提升AI資料中心端到端能效 高功率機架式電容模組可穩定用電負載
台達電源及系統事業群副總裁暨總經理陳盈源在「AI運算挑戰 - 電力和散熱解決方案」主題演講中直接點出,隨著AI算力持續提升,AI資料中心用電量也持續上升。Gartner報告指出2024年全球AI資料中心耗電量達261TWh,接近台灣2024年用電總量283TWh,使得AI資料中心用電需求規劃已成為擴建AI資料中心的重要關鍵。因此台達透過解析從AI晶片到資料中心用電需求,設計出AI資料中心電網到晶片(Grid-to-Chip)完整電源解決方案,並且提供L2A CDU、L2L CDU等不同散熱解決方案。
陳盈源表示,在傳統AC供電資料中心架構中,在經過基礎設施、機櫃到伺服器,端到端能效約為87.6%,而且負載快速變動會對電網產生衝擊。因此台達設計出高功率機架式電容模組(PCS),其內建鋰離子電容,能夠進行快速充放電,透過削峰填谷的方式確保用電負載平穩。而為了提升用電效率,台達為AI資料中心推出創新高壓直流(HVDC)電源架構,也就是將中壓電網(10 kVAC ~ 33 kVAC)變壓至800 VDC,然後搭配電源機櫃與機架式電容機櫃穩定負載,再使用DC-DC轉換模組降壓至AI晶片需求的0.65V,簡化AC-DC轉換過程,即可把端到端能效提升至89%~92%,大幅提高AI資料中心能源效率。
AI NEXT FORUM中文版影片【COMPUTEX 2025】AI NEXT FORUM- Cloud x Edge AI x Data Center - Chinese Version
https://youtu.be/BmLiHItX2Cw