您的当前位置:首页 > 资讯 > 正文

微软推出 ZeRO++ 技术,可显著减少 AI 大模型训练时间和成本

  • 2023-06-27 18:51:31 来源:品玩


(资料图)

品玩 6 月 27 日讯,据微软官方消息,微软研究人员日前推出了名为 ZeRO++ 的新技术,可显著减少大模型训练时间和成本。

ZeRO++ 建立在 ZeRO 传输技术基础上,提供增强的通信策略,可提高训练效率,同时减少训练时间和成本。ZeRO++ 可对权重进行量化,其利用基于块的量化方法来保持训练精度,这种优化的量化过程相对原始 Zero 传输技术更快更准确。

微软研究人员表示,与 ZeRO 相比,ZeRO++ 减少了高达 4 倍的通信量,提高了训练吞吐量和效率。

标签:

推荐阅读

微软推出 ZeRO++ 技术,可显著减少 AI 大模型训练时间和成本

品玩6月27日讯,据微软官方消息,微软研究人员日前推出了名为ZeRO++的

【世界时快讯】人工智能重塑数字世界 推动数实融合高质量发展

光明网讯(记者雷渺鑫)6月26日,世界互联网大会数字文明尼山对话主论

环球简讯:无畏契约国服公测时间2023[多图]

无畏契约国服什么时候公测?无畏契约国服即将在2023年年内上线,在6月

2023年广东成人高考报名时间是什么时候?-当前动态

2023年广东成人高考报名时间是什么时候?2023年广东成人高考报名时间:

陕西省志丹县发布雷雨大风黄色预警 新动态

志丹县气象台2023年6月27日14时45分发布雷雨大风黄色预警信号:未来6小

猜您喜欢

【版权及免责声明】凡注明"转载来源"的作品,均转载自其它媒体,转载目的在于传递更多的信息,并不代表本网赞同其观点和对其真实性负责。亚洲品牌网倡导尊重与保护知识产权,如发现本站文章存在内容、版权或其它问题,烦请联系。 联系方式:8 86 239 5@qq.com,我们将及时沟通与处理。

聚焦