在2026年PyTorch北美大会上,亚马逊云科技推出原生PyTorch后端TorchNeuron,让开发者在几乎无需修改代码的情况下,在AWS Trainium AI芯片上运行现有PyTorch代码。除减少工程工作量外,该后端还允许企业在训练和推理工作负载之间共享硬件容量,并在非高峰时段将资源从推理任务重新分配到训练任务。
亚马逊云科技表示,只需进行一次配置更改即可切换硬件,迁移至Trainium时不需要重写和重新验证模型。目前85%的人工智能研究人员和开发者使用PyTorch编写代码,而扩展到新芯片往往意味着重写并重新验证耗时数月才臻于完美的代码。根据文档,当通过torch.accelerator利用PyTorch自动设备检测功能时,唯一需要做的改动就是将.to('cuda')替换为.to('neuron')。
该后端还原生支持分布式训练和PyTorch并行API,包括DDP、FSDP2、DTensor等,并通过torch_neuronx.Stream和torch_neuronx.Event为Torch流和事件提供原生支持。领导TorchNeuron开发团队的Amazon Annapurna Labs副总裁Colin Brace强调,团队对10万个最受欢迎的模型和800多种机器学习架构进行了验证,以确保流畅的开发体验。
此外,TorchNeuron允许开发者使用Neuron内核接口(NKI)开发、优化和执行自定义运算符,通过在模型代码中直接调用性能关键的NKI内核替代一系列标准ATen操作,获得比自适应即时执行和torch.compile更精细的性能控制。亚马逊云科技还强调,Cartesia已将该技术用于语音AI推理,利伯脑发育研究所则探索其在药物靶点识别和药物发现领域的应用。
业界评论指出,降低迁移门槛对避免加速器锁定至关重要,但真正的考验在于生产环境中的性能、每token成本以及可重复性。此次发布紧随谷歌推出面向TPU硬件的原生PyTorch后端TorchTPU之后。
扫码查看视频号
咨询
咨询