微软推ZeRO++新系统:减少大模型训练时间和成本_天天播报
(资料图片)
微软研究人员推出了名为ZeRO++的新系统,用于优化训练大型AI模型,以应对高数据传输开销和有限带宽的难题。
ZeRO++ 建立在现有的 ZeRO 优化的基础上,并提供增强的通信策略,以提高训练效率,减少训练时间和成本。
像Turing-NLG、ChatGPT和GPT-4这样的大型模型的训练需要跨多个GPU设备占用大量内存和计算资源。DeepSpeed开发的ZeRO++引入了通信优化策略,以克服在每个GPU上批量大小较小时或在低带宽集群上进行训练时ZeRO的限制。
ZeRO优化系列包括ZeRO-Inference,它使用GPU的集体内存和计算能力,将模型状态分割在多个GPU之间。然而,在训练过程中,ZeRO可能会产生较高的通信开销。ZeRO++通过整合三组通信优化来解决这个问题:量化权重通信(qwZ)、分层权重分割(hpZ)和量化梯度通信(qgZ)。
为了减少参数通信量,ZeRO++对权重进行量化,利用基于块的量化方法来保持训练精度。这种优化的量化过程比基本量化更快更准确。为了在反向传播过程中尽量减少通信开销,ZeRO++通过在每台机器上保持完整的模型副本,以 GPU 内存换取通信。梯度通信方面,ZeRO++引入了一种新的量化梯度通信范式 qgZ,可以减少跨节点的流量和延迟。
这些通信优化大大减少了通信量。与ZeRO相比,ZeRO++实现了减少高达4倍的通信量,提高了训练吞吐量和效率。当在每个GPU上使用小批量大小时,在高带宽集群中,ZeRO++相比ZeRO-3的吞吐量提高了28%至36%。在低带宽集群中,与ZeRO-3相比,ZeRO++实现了平均2倍的加速,使得大模型训练在更多种类的集群上更为可行。
ZeRO++不仅限于训练场景,还可应用于对话模型中使用的人类反馈强化学习(RLHF)训练。通过将ZeRO++与DeepSpeed-Chat集成,RLHF训练可以获得更好的生成和训练吞吐量,生成吞吐量提高了高达2.25倍,训练吞吐量提高了1.26倍,超过了ZeRO。
DeepSpeed已经发布了ZeRO++,以使大型模型的训练在AI社区更加高效和可访问。该系统旨在加快训练速度,减少通信开销,并实现更大的批量大小,从而节省时间和资源。研究人员和实践者可以利用ZeRO++更有效地训练像ChatGPT这样的模型,并在AI领域探索新的可能性。
来源:站长之家
关键词:
- 微软推ZeRO++新系统:减少大模型训练时间和成本_天天播报(2023-06-28 00:45:20)
- 中央网信办集中整治网上涉未成年人突出问题(2023-06-28 00:39:57)
- 顺鑫农业挂牌出售顺鑫佳宇100%股权,拟剥离房地产业务(2023-06-28 00:41:44)
- 金通灵:因涉嫌信披违法违规收到立案告知书(2023-06-28 00:53:51)
- 贵州省科技情报监测预警平台线上培训会召开|全球快消息(2023-06-28 00:43:37)
- 世界视点!李彦宏、周鸿祎和张勇共聚孔子故居 周鸿祎:三个老朋友对AI安全看法一致(2023-06-28 00:55:38)
- 全球新动态:西安地铁2号线二期正式开通运营(2023-06-28 00:44:30)
- 天天热点!健康证怎么办理流程费用(健康证怎么办)(2023-06-28 00:45:24)
- 安康:创新端午文化 驱动“龙舟经济”(2023-06-28 00:46:05)
- 扎波罗热防线的雷场真是看得人头皮发麻(2023-06-28 00:32:01)
- 胡润发布中国产业互联网30强,阿里位列B2B交易平台第一|讯息(2023-06-28 00:35:28)
- 新雷能最新公告:拟投建通信及数据中心电源研发制造基地项目(2023-06-28 00:42:37)
- 【中考动态】英语试卷解析:紧密联系教材,注重学考一致|环球实时(2023-06-28 00:53:05)
- 用匠心坚守金融服务初心(2023-06-28 00:50:40)
- 今日报丨经纪人回应张雪峰被强制送医!“给穷人指路”的张雪峰还有精明的商人身份:每年仅讲课就能挣几百万,一家公司要上市?(2023-06-28 00:34:49)
- 焦点快看:他年赚56亿花20亿泡妞,家中养百位美女,晚年却给儿子留26亿巨债_当前简讯(2023-06-28 00:52:29)
- 四川黄龙五彩池钙化滩遭人踩踏_上万年钙华滩遭游客踩踏(2023-06-28 00:32:01)
- 全球首座商用微型核反应堆组装工厂落户美国 预计2027投产(2023-06-28 00:40:20)
- 四川内江范长江流动大讲堂在成都开展专题巡讲活动-环球播报(2023-06-28 00:46:36)
- 对方爱不爱你,“感觉”骗不了人 讯息(2023-06-28 00:33:37)
- 外汇交易提醒:避险情绪继续支撑美元,俄罗斯局势影响卢布命运 全球热讯(2023-06-28 00:34:49)
- 即时:定了!上海首家K11 Select落子浦东金色中环(2023-06-28 00:49:17)
- 米体:若不参加欧会杯尤文准备出售佩林,费内巴切想签下他 即时(2023-06-28 00:38:14)
- 中金公司(03908):“20中金G5”将于7月6日在上交所提前摘牌|今日看点(2023-06-28 00:50:12)
- 全球快看点丨钟南山与学生合照意外被亲:感受到广医同学的热爱(2023-06-28 00:36:22)
- 逾4000股飘红!什么信号?“地产链”走强,有新股飙涨近150%(2023-06-28 00:50:34)
- 最新:6-26 风浪越大鱼越贵!!(2023-06-28 00:31:43)
- 热点聚焦:贵州茅台:控股股东增持计划已实施完毕(2023-06-28 00:27:44)
- 中达安:聘任邵宗泽为公司副总裁(2023-06-28 00:49:36)
- 06月26日安徽皮棉为17525元(2023-06-28 00:37:54)
-
【中考动态】英语试卷解析:紧密联系教材,
哈尔滨市第七中学校英语教师侯利娟哈尔滨市第二十七中学校英语教师曹霞
-
用匠心坚守金融服务初心
用匠心坚守金融服务初心,邮储银行,中国银行,金融服务,银行网点,中国邮
-
今日报丨经纪人回应张雪峰被强制送医!“给
26日,张雪峰经纪人短短10个字的回复再次登上社交媒体头条。针对张雪峰
-
焦点快看:他年赚56亿花20亿泡妞,家中养百
“只要是我想得到的女人,就没有得不到的!”这句话出自 "台湾三大丑男
-
四川黄龙五彩池钙化滩遭人踩踏_上万年钙华
1、钙化滩这种天然的,人间奇迹,一旦经过破坏是根本不可能被修复的,
-
全球首座商用微型核反应堆组装工厂落户美国
IT之家今日(6月26日)消息,总部位于美国西雅图的超安全核能公司(Ult
-
四川内江范长江流动大讲堂在成都开展专题巡
四川内江范长江流动大讲堂在成都开展专题巡讲活动
-
对方爱不爱你,“感觉”骗不了人 讯息
如果有一天,你遇到一个人,他能带给你温暖的感觉,每次和他在一起,都
-
外汇交易提醒:避险情绪继续支撑美元,俄罗
北京时间6月27日亚市早盘美元指数窄幅震荡目前交投于10275附近美元指数
-
即时:定了!上海首家K11 Select落子浦东
浦发集团与新世界集团旗下K11集团日前签署了商业项目合作协议,依托上
- 滚动
- 综合
- 房产