AMD发布下一代开源软件栈技术ROCm7 DeepSeek R1推理性能提升3.8倍

2天前 1观看

6月13日消息,在今日凌晨的AMD Advancing AI 2025活动中,AMD正式推出其下一代开源软件栈技术ROCm 7,进一步加速AI与开发者生产力。iNq喜好网-记录每日喜好的科技时尚娱乐生活

iNq喜好网-记录每日喜好的科技时尚娱乐生活

随着ROCm 7的发布,AMD终于从其ROCm 6软件栈向前迈进,该软件栈在过去几年中,尤其是在AI计算出现以来已经经历了多次更新。以下是AMD在ROCm 7中重点关注的一些功能:最新算法与模型;用于扩展AI的高级功能;MI350系列支持;集群管理;企业级功能。iNq喜好网-记录每日喜好的科技时尚娱乐生活

iNq喜好网-记录每日喜好的科技时尚娱乐生活

通过ROCm,AMD表示其正更加专注于其软件堆栈中日益增长的推理能力。ROCm 7堆栈将包括增强型框架,如vLLM v1、llm-d、SGLang,并专注于提供多种优化。即将到来的ROCm 7新内核和算法包括GEMM自动调优、MoE、Attention和基于Python的内核编写。iNq喜好网-记录每日喜好的科技时尚娱乐生活

AMD已宣布对其MI350系列提供FP6和FP4支持,ROCm 7也包含对这些高级数据类型的全面支持,如FP8、FP6、FP4和混合精度。iNq喜好网-记录每日喜好的科技时尚娱乐生活

从发布会获悉,在性能方面,AMD表示ROCm 7将推理作为重点,为AI工作负载带来了高达3.5倍的性能提升。具体来看,相较于ROCm 6,ROCm 7的Llama 3.1 70B提升了3.2倍,Qwen2-72B提升了3.4倍,DeepSeek R1提升了3.8倍。iNq喜好网-记录每日喜好的科技时尚娱乐生活

iNq喜好网-记录每日喜好的科技时尚娱乐生活

本文链接:http://www.xihao.site/showinfo-3-95499.htmlAMD发布下一代开源软件栈技术ROCm7 DeepSeek R1推理性能提升3.8倍

声明:本网页内容旨在传播知识,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。邮件:2376512515@qq.com。天上从来不会掉馅饼,请大家时刻谨防诈骗