飞象网 - 通信人每天必上的网站

首頁|必讀|視頻|專訪|運營|制造|監(jiān)管|大數(shù)據(jù)|物聯(lián)網(wǎng)|量子|低空經(jīng)濟|智能汽車|特約記者
手機|互聯(lián)網(wǎng)|IT|5G|光通信|人工智能|云計算|芯片|報告|智慧城市|移動互聯(lián)網(wǎng)|會展
首頁 >> 人物專訪 >> 正文

韋樂平:隨著模型規(guī)模的日益擴大,跨域訓(xùn)練是必然趨勢

2025年4月23日 12:34  CCTIME飛象網(wǎng)  

飛象網(wǎng)訊(易歡)4月23日消息,在今天舉辦的“2025云網(wǎng)智聯(lián)大會”上,SNAI推委會榮譽主席、原中國電信科技委主任韋樂平分享了對智算拉遠的思考。

談及大模型訓(xùn)練智算拉遠的市場需求,韋樂平坦言,可以以網(wǎng)補算,提升閑散智算中心算力資源利用率。“面對大批分散部署、利用率很低的小規(guī)模智算中心,若能通過網(wǎng)絡(luò)互聯(lián)形成一個大型的邏輯智算池來適應(yīng)規(guī)模日益增長的大模型訓(xùn)練,有望大幅提升閑散智算資源的利用率。”

與此同時,他指出,邁向未來,跨域訓(xùn)練是必然趨勢。按照統(tǒng)計,大模型參數(shù)每1-2年增長10倍,而對應(yīng)的GPU芯片的算力僅增長2-4倍,遠低于模型規(guī)模的增速。隨著模型規(guī)模的日益擴大,單體的算力、電力、空間資源終將受限,可能需要在園區(qū)甚至更大范圍內(nèi)由多個智算中心互聯(lián)形成一個超級邏輯智算資源池,進行聯(lián)合訓(xùn)練才有可能支撐超大模型的訓(xùn)練。

韋樂平強調(diào):“至于推理與具體業(yè)務(wù)場景和訪問量相關(guān),更需要跨域?qū)嵤!?/P>

針對大模型訓(xùn)練智算拉遠的挑戰(zhàn),韋樂平認為復(fù)雜的商用場景,勢必會面臨大量不同功能、性能的異構(gòu)GPU、規(guī)模不同的AIDC的互聯(lián)、不同業(yè)務(wù)場景、不同設(shè)備和不同組網(wǎng)方式、不同模型和不同參數(shù)的協(xié)同挑戰(zhàn)。

此外,還面臨一些技術(shù)挑戰(zhàn)。在韋樂平看來,一是帶寬收斂問題。“無收斂帶寬普適性和前瞻性好,部署快,但成本太高;收斂比4-8時,帶寬成本可以降至10%之內(nèi),但是只適用特定業(yè)務(wù)場景下的特定模型拆分方式,缺乏普適性和前瞻性。”

二是功能和性能問題。拉遠后必然面對丟包、抖動乃至中斷故障等諸多挑戰(zhàn),對ROCE網(wǎng)絡(luò)的功能和性能有不少嚴(yán)格的要求。

統(tǒng)一管理和運維也是挑戰(zhàn)之一。韋樂平認為,現(xiàn)有固化的組織架構(gòu)和生產(chǎn)流程不適合快速部署邏輯統(tǒng)一的異地智算中心,需要對現(xiàn)有管理運維體系、生產(chǎn)流程、監(jiān)控管理平臺改造升級。

編 輯:章芳
飛象網(wǎng)版權(quán)及免責(zé)聲明:
1.本網(wǎng)刊載內(nèi)容,凡注明來源為“飛象網(wǎng)”和“飛象原創(chuàng)”皆屬飛象網(wǎng)版權(quán)所有,未經(jīng)允許禁止轉(zhuǎn)載、摘編及鏡像,違者必究。對于經(jīng)過授權(quán)可以轉(zhuǎn)載,請必須保持轉(zhuǎn)載文章、圖像、音視頻的完整性,并完整標(biāo)注作者信息和飛象網(wǎng)來源。
2.凡注明“來源:XXXX”的作品,均轉(zhuǎn)載自其它媒體,在于傳播更多行業(yè)信息,并不代表本網(wǎng)贊同其觀點和對其真實性負責(zé)。
3.如因作品內(nèi)容、版權(quán)和其它問題,請在相關(guān)作品刊發(fā)之日起30日內(nèi)與本網(wǎng)聯(lián)系,我們將第一時間予以處理。
本站聯(lián)系電話為86-010-87765777,郵件后綴為cctime.com,冒充本站員工以任何其他聯(lián)系方式,進行的“內(nèi)容核實”、“商務(wù)聯(lián)系”等行為,均不能代表本站。本站擁有對此聲明的最終解釋權(quán)。
推薦新聞              
 
人物
韋樂平詳解生成式人工智能的聯(lián)網(wǎng)技術(shù)
精彩視頻
專家談 | 中國信通院曹薊光:大模型紅利加速釋放AI跨行業(yè)全場景賦能
飛象趣談第二十五期!全球人形機器人半馬首秀,中國黑科技如何讓機器人跑贏未來!
看見數(shù)智福建 2025數(shù)字中國建設(shè)峰會媒體探訪活動
在CCBN2025見證百年電視行業(yè)新紀(jì)元——超高清發(fā)展年
精彩專題
通信產(chǎn)業(yè)2024年業(yè)績盤點
3·15權(quán)益日 | 共筑滿意消費 守護信息通信安全防線
聚焦2025全國兩會
2025年世界移動通信大會
關(guān)于我們 | 廣告報價 | 聯(lián)系我們 | 隱私聲明 | 本站地圖
CCTIME飛象網(wǎng) CopyRight © 2007-2024 By CCTIME.COM
京ICP備08004280號-1  電信與信息服務(wù)業(yè)務(wù)經(jīng)營許可證080234號 京公網(wǎng)安備110105000771號
公司名稱: 北京飛象互動文化傳媒有限公司
未經(jīng)書面許可,禁止轉(zhuǎn)載、摘編、復(fù)制、鏡像
主站蜘蛛池模板: 硅胶管挤出机厂家_硅胶挤出机生产线_硅胶条挤出机_臣泽智能装备 贵州科比特-防雷公司厂家提供贵州防雷工程,防雷检测,防雷接地,防雷设备价格,防雷产品报价服务-贵州防雷检测公司 | 线材成型机,线材折弯机,线材成型机厂家,贝朗自动化设备有限公司1 | 冷却塔改造厂家_不锈钢冷却塔_玻璃钢冷却塔改造维修-广东特菱节能空调设备有限公司 | 齿辊分级破碎机,高低压压球机,立式双动力磨粉机-郑州长城冶金设备有限公司 | 塑料撕碎机_编织袋撕碎机_废纸撕碎机_生活垃圾撕碎机_废铁破碎机_河南鑫世昌机械制造有限公司 | 干洗店加盟_洗衣店加盟_干洗店设备-伊蔻干洗「武汉总部」 | 贵州科比特-防雷公司厂家提供贵州防雷工程,防雷检测,防雷接地,防雷设备价格,防雷产品报价服务-贵州防雷检测公司 | 苏州西朗门业-欧盟CE|莱茵UL双认证的快速卷帘门品牌厂家 | 创绿家招商加盟网-除甲醛加盟-甲醛治理加盟-室内除甲醛加盟-创绿家招商官网 | 赛默飞Thermo veritiproPCR仪|ProFlex3 x 32PCR系统|Countess3细胞计数仪|371|3111二氧化碳培养箱|Mirco17R|Mirco21R离心机|仟诺生物 | 挨踢网-大家的导航!| 书法培训-高考书法艺考培训班-山东艺霖书法培训凭实力挺进央美 | 上海冠顶工业设备有限公司-隧道炉,烘箱,UV固化机,涂装设备,高温炉,工业机器人生产厂家 | 中国在职研究生招生信息网| 汕头市盛大文化传播有限公司,www.11400.cc| 工业铝型材-铝合金电机壳-铝排-气动执行器-山东永恒能源集团有限公司 | 高柔性拖链电缆_卷筒电缆_耐磨耐折聚氨酯电缆-玖泰特种电缆 | 吲哚菁绿衍生物-酶底物法大肠菌群检测试剂-北京和信同通科技发展有限公司 | 杭州代理记账多少钱-注册公司代办-公司注销流程及费用-杭州福道财务管理咨询有限公司 | 注浆压力变送器-高温熔体传感器-矿用压力传感器|ZHYQ朝辉 | 高压贴片电容|贴片安规电容|三端滤波器|风华电容代理南京南山 | 日本东丽膜_反渗透膜_RO膜价格_超滤膜_纳滤膜-北京东丽阳光官网 日本细胞免疫疗法_肿瘤免疫治疗_NK细胞疗法 - 免疫密码 | 机床导轨_导轨板_滚轮导轨-上海旻佑精密机械有限公司 | 机械立体车库租赁_立体停车设备出租_智能停车场厂家_春华起重 | 非小号行情 - 专业的区块链、数字藏品行情APP、金色财经官网 | 钛合金标准件-钛合金螺丝-钛管件-钛合金棒-钛合金板-钛合金锻件-宝鸡远航钛业有限公司 | app开发|app开发公司|小程序开发|物联网开发||北京网站制作|--前潮网络 | 厦门网站建设_厦门网站设计_小程序开发_网站制作公司【麦格科技】 | 万家财经_财经新闻_在线财经资讯网 | pbootcms网站模板|织梦模板|网站源码|jquery建站特效-html5模板网 | 【365公司转让网】公司求购|转让|资质买卖_股权转让交易平台 | 压滤机-洗沙泥浆处理-压泥机-山东创新华一环境工程有限公司 | 探伤仪,漆膜厚度测试仪,轮胎花纹深度尺厂家-淄博创宇电子 | 丹佛斯变频器-丹佛斯压力开关-变送器-广州市风华机电设备有限公司 | 螺旋叶片_螺旋叶片成型机_绞龙叶片_莱州源泽机械制造有限公司 | 电动车头盔厂家_赠品头盔_安全帽批发_山东摩托车头盔—临沂承福头盔 | 防爆型气象站_农业气象站_校园气象站_农业四情监测系统「山东万象环境科技有限公司」 | 合肥仿石砖_合肥pc砖厂家_合肥PC仿石砖_安徽旭坤建材有限公司 | 武汉不干胶印刷_标签设计印刷_不干胶标签印刷厂 - 武汉不干胶标签印刷厂家 | 亚克力制品定制,上海嘉定有机玻璃加工制作生产厂家—官网 | 齿轮减速机_齿轮减速电机-VEMT蜗轮蜗杆减速机马达生产厂家瓦玛特传动瑞环机电 |