PyTorchv11重大更新TensorBoard已加入豪华套餐_[#第一枪]

发布时间：2021-06-07 12:34:21 阅读：次来源：棉胎厂家

雷锋网 AI 科技评论按：Facebook对人工智能相关技术的长期大规模投入尽人皆知。这些技术不仅构成了 Facebook获得盈利的技术基础，Facebook也宣称它们可以帮助Facebook成为一个更安全、更具包容性、更公平的平台。Facebook对AI方面的成果也相当慷慨，不仅秉持着学术研究成果全面开放的作风，他们开发的深度学习框架PyTorch也易用、亲民，在工业级应用领域大有赶超谷歌TensorFlow之势。

近日在 2019年Facebook开发者大会「F8」上，Facebook公布了PyTorch的重大更新 1.1版本，同时还发布并开源了其它多个开发工具，继续降低机器学习/深度学习模型开发调试以及深度学习专用硬件设计的门槛。 AI 科技评论把更新主要内容介绍如下。

更新更强的 PyTorchv1.1

PyTorch在设计之初就兼顾了科研需要的灵活性、模块性，以及工业级应用部署需要的稳定性和后续支持，它也具有类似Python的快速执行特性以及灵活的网络结构动态调整功能。随着PyTorch 1.0版本在去年 12 月发布，它也支持了基于图（Graph）的运行、前后端模块间的无缝混合运行、分布式训练、高效移动端部署等功能，此外还可以使用PyTorchJIT（即时汇编）在图模式和动态图模式之间灵活切换。据Facebook介绍，许多企业已经把AI科研以及计算机视觉、对话系统、工业优化、自动驾驶等应用迁移到了PyTorch平台上运行。

如今Facebook正式宣布了 PyTorchv1.1版本即将到来，包含性能提升、提升易用性的新的理解和视觉工具、新的API等。具体更新项目如下：

TensorBoard：TensorBoard是一个web应用套件，含有多种针对训练过程以及图的检查理解工具。PyTorch 1.1中提供了优秀的原生支持，可以把TensorBoard 用于可视化以及模型debug。由于是原生支持，只需要一句简单的「from torch.utils.tensorboard import SummaryWriter」指令就可以调用。

JIT编译器：针对即时汇编进行了多项改进，包括多项bug修复，增加了TorchScript中的多项功能（比如支持辞典、用户自定义类以及属性）。

新的API：支持布尔类型张量，以及对用户自定义的循环神经网络提供更好的支持。

分布式训练：提升了CNN之类常见模型的性能，增加了多设备模块的支持，包括在使用分布式数据并行化（DDP）的同时为不同的GPU指定不同的模型，而且开始支持并不是在每次迭代中都使用所有参数的模型（比如控制流、自适应softmax等等）

Facebook也和机器学习社区内的多个机构合作，孵化更多帮助机器学习工程师们更高效地工作的项目，涉及的方面从提升理解模型的能力一直到用AutoML之类的方法自动调节模型。

更多生产和科研辅助工具

在宣布PyTorchv1.1版本的同时，Facebook也一并介绍了几个新的开源工具。它们都是已经在Facebook大规模部署的成熟项目，有Facebook自己开发的工具，也有和谷歌等业界领路人一同开发的产品和服务，都为开放、合作式的机器学习大家庭贡献了一份力量。其中最为重要的是BoTorch和Ax，Facebook有一篇单独的介绍。

BoTorch：这是一个用于贝叶斯优化科研的基于PyTorch的开发库。BoTorch使用了模块化设计，并且同时使用了基于蒙特卡洛的采集功能和PyTorch中的自动微分功能，可以极大提升开发效率。BoTorch可以和任何PyTorch模型集成，这给同时使用贝叶斯优化和深度学习的科研带来了极高的灵活性。另外，贝叶斯优化的样本效率很高，很适合用于测试成本很高的黑盒功能的序列优化。

Ax：Ax是一个便于使用、通用目的设计的适应性试验平台，它可以管理、部署、自动化机器学习试验。Ax会使用BoTorch中的最新功能，为开发者优化产品、优化技术基础设施提供更多便捷。Ax也降低了贝叶斯优化、多臂抽奖问题（multiarmed bandit）以及其他复杂试验技巧的使用门槛，帮助研究人员们更好地把科研想法引入到生产中。

PyTorch-BigGraph：这是一个为含有数十亿个节点、数千亿个边的超大规模图生成嵌入的分布式系统。它可以支持分片和逆向采样，并且提供了基于维基百科数据嵌入的使用示例。

Google AI Platform Notebooks：这是一个基于谷歌云平台的新的托管JupyterLab服务。数据科学家们可以快速创建支持运行JupyterLab的虚拟机，其中还预安装好了最新的PyTorch。它也和BigQuery、CloudDataproc、CouldDataflow、AIFactory等 GCP服务紧密整合，开发者几乎不需要离开JupyterLab就可以运行完成的机器学习全流程。

更多PyTorch学习资源

随着PyTorch渐入佳境，越来越多的教育平台也开始提供基于PyTorch的学习资源；况且PyTorch灵活动态的编程环境以及大家熟悉的Python界面都让它适合快速实验上手。谷歌Colab如今已经提供了交互式的JupyterNotebook环境，为PyTorch提供了原生支持，开发者们可以在免费的CPU和GPU资源上运行任何PyTorch教程。斯坦福自然语言处理小组（StanfordNLP）、加州大学伯克利分校计算机视觉小组、加州理工大学机器人课程中都开始把PyTorch作为机器学习编程教学平台，MOOC课程中更是让成千上万的PyTorch开发者得以快速学习。

和新版本、新工具一起，Facebook宣布他们和优达学城（Udacity）建立合作，将在其中的深度学习入门课程中加入PyTorch教学，Facebook还会提供为继续学习完整机器学习学位的参加者提供奖学金。Fast.ai也将于今年 6月提供新的使用PyTorch的深度学习课程。作为课程内容的一部分，fast.ai还会更新包括fastai.audio库在内的新库作为PyTorch模块。

viahttps://ai.facebook.com/blog/pytorch-adds-new-dev-tools-as-it-hits-production-scale/，雷锋网 AI 科技评论编译

雷锋网版权文章，未经授权禁止转载。详情见转载须知。