技术学习分享_CKX技术 技术资讯 PyTorch 2.0 现已正式发布!

PyTorch 2.0 现已正式发布!

广告位

PyTorch 2.0 现已发布!

新版本包括稳定版的 Accelerated Transformers(以前称为 Better Transformers);Beta 功能包括:

  • 使用 torch.compile 作为 PyTorch 2.0 的主要 API(有关 torch.compile 的全面介绍和技术概述,请访问 2.0 入门页面。)
  • scaled_dot_product_attention 函数作为 torch.nn.functional 的一部分
  • MPS 后端
  • torch.func 模块中的 functorch API
  • 以及 GPU 和 CPU 上各种推理、性能和训练优化功能的其他 Beta/Prototype 改进。

新功能的概括介绍:

  • torch.compile 是 PyTorch 2.0 的主要 API,它包装并返回编译后的模型,torch.compile 是一个完全附加(和可选)的特性,因此 2.0 版本是 100% 向后兼容的。
  • 作为 torch.compile 的基础技术,带有 Nvidia 和 AMD GPU 的 TorchInductor 将依赖 OpenAI Triton 深度学习编译器来生成高性能代码,并隐藏低级硬件细节。OpenAI Triton 生成的内核实现的性能,与手写内核和 cublas 等专门的 cuda 库相当。
  • Accelerated Transformers 引入了对训练和推理的高性能支持,使用自定义内核架构实现缩放点积注意力 (SPDA)。API 与 torch.compile() 集成,模型开发人员也可以通过调用新的 scaled_dot_product_attention() 运算符,直接使用缩放的点积注意力内核。
  • Metal Performance Shaders (MPS) 后端在 Mac 平台上提供 GPU 加速的 PyTorch 训练,并增加了对前 60 个最常用操作的支持,覆盖了 300 多个操作符。
  • Amazon AWS 优化了基于 AWS Graviton3的 C7g 实例上的 PyTorch CPU 推理。与之前的版本相比,PyTorch 2.0 提高了 Graviton 的推理性能,包括对 Resnet50 和 Bert 的改进。
  • 跨 TensorParallel、DTensor、2D parallel、TorchDynamo、AOTAutograd、PrimTorch 和 TorchInductor 的新原型功能和技术。

除了 PyTorch 2.0 ,PyTorch 官方还发布了 PyTorch 域库的一系列 beta 更新,包括那些在树中的库,以及包括 TorchAudio、TorchVision 和 TorchText 在内的独立库。TorchX 转向社区支持模式,正在发布更新。可以在该博客中找到更多详细信息。

PyTorch 2.0 官方发布公告中对 2.0 的每个新特性作了详细介绍。

展开阅读全文
本文来自网络,不代表技术学习分享_CKX技术立场,转载请注明出处。

作者: CKX技术

上一篇
下一篇
广告位

发表回复

返回顶部