跳到正文
PyTorch Blog· PyTorch Foundation·· 11 天前精选AI 评分61

PyTorch 2.15 发布,重写 NCCL 通信后端成为默认并优化大模型解码性能

PyTorch 2.15 Release Blog

AI 导读

PyTorch 2.15 正式发布,重写的 NCCL 通信后端成为所有 nccl 进程组的默认选项,并提供 TORCH_DIST_USE_NCCL2=0 和 nccl-legacy 回退路径。

推荐理由

官方逐项列出默认启用的重写 NCCL 后端、FSDP2 显存控制和 Apple Silicon FP8 等变化,读者可据此评估升级对现有训练与推理管线的影响。

来源:PyTorch Blog · pytorch.org