棉胎厂家
免费服务热线

Free service

hotline

010-00000000
棉胎厂家
热门搜索:
行业资讯
当前位置:首页 > 行业资讯

PyTorchv11重大更新TensorBoard已加入豪华套餐_[#第一枪]

发布时间:2021-06-07 12:34:21 阅读: 来源:棉胎厂家

雷锋网 AI 科技评论按:Facebook对人工智能相关技术的长期大规模投入尽人皆知。这些技术不仅构成了 Facebook获得盈利的技术基础,Facebook也宣称它们可以帮助Facebook成为一个更安全、更具包容性、更公平的平台。Facebook对AI方面的成果也相当慷慨,不仅秉持着学术研究成果全面开放的作风,他们开发的深度学习框架PyTorch也易用、亲民,在工业级应用领域大有赶超谷歌TensorFlow之势。

近日在 2019年Facebook开发者大会「F8」上,Facebook公布了PyTorch的重大更新 1.1版本,同时还发布并开源了其它多个开发工具,继续降低机器学习/深度学习模型开发调试以及深度学习专用硬件设计的门槛。 AI 科技评论把更新主要内容介绍如下。

更新更强的 PyTorchv1.1

PyTorch在设计之初就兼顾了科研需要的灵活性、模块性,以及工业级应用部署需要的稳定性和后续支持,它也具有类似Python的快速执行特性以及灵活的网络结构动态调整功能。随着PyTorch 1.0版本在去年 12 月发布,它也支持了基于图(Graph)的运行、前后端模块间的无缝混合运行、分布式训练、高效移动端部署等功能,此外还可以使用PyTorchJIT(即时汇编)在图模式和动态图模式之间灵活切换。据Facebook介绍,许多企业已经把AI科研以及计算机视觉、对话系统、工业优化、自动驾驶等应用迁移到了PyTorch平台上运行。

如今Facebook正式宣布了 PyTorchv1.1版本即将到来,包含性能提升、提升易用性的新的理解和视觉工具、新的API等。具体更新项目如下:

TensorBoard:TensorBoard是一个web应用套件,含有多种针对训练过程以及图的检查理解工具。PyTorch 1.1中提供了优秀的原生支持,可以把TensorBoard 用于可视化以及模型debug。由于是原生支持,只需要一句简单的「from torch.utils.tensorboard import SummaryWriter」指令就可以调用。

JIT编译器:针对即时汇编进行了多项改进,包括多项bug修复,增加了TorchScript中的多项功能(比如支持辞典、用户自定义类以及属性)。

新的API:支持布尔类型张量,以及对用户自定义的循环神经网络提供更好的支持。

分布式训练:提升了CNN之类常见模型的性能,增加了多设备模块的支持,包括在使用分布式数据并行化(DDP)的同时为不同的GPU指定不同的模型,而且开始支持并不是在每次迭代中都使用所有参数的模型(比如控制流、自适应softmax等等)

Facebook也和机器学习社区内的多个机构合作,孵化更多帮助机器学习工程师们更高效地工作的项目,涉及的方面从提升理解模型的能力一直到用AutoML之类的方法自动调节模型。

更多生产和科研辅助工具

在宣布PyTorchv1.1版本的同时,Facebook也一并介绍了几个新的开源工具。它们都是已经在Facebook大规模部署的成熟项目,有Facebook自己开发的工具,也有和谷歌等业界领路人一同开发的产品和服务,都为开放、合作式的机器学习大家庭贡献了一份力量。其中最为重要的是BoTorch和Ax,Facebook有一篇单独的介绍。

BoTorch:这是一个用于贝叶斯优化科研的基于PyTorch的开发库。BoTorch使用了模块化设计,并且同时使用了基于蒙特卡洛的采集功能和PyTorch中的自动微分功能,可以极大提升开发效率。BoTorch可以和任何PyTorch模型集成,这给同时使用贝叶斯优化和深度学习的科研带来了极高的灵活性。另外,贝叶斯优化的样本效率很高,很适合用于测试成本很高的黑盒功能的序列优化。

Ax:Ax是一个便于使用、通用目的设计的适应性试验平台,它可以管理、部署、自动化机器学习试验。Ax会使用BoTorch中的最新功能,为开发者优化产品、优化技术基础设施提供更多便捷。Ax也降低了贝叶斯优化、多臂抽奖问题(multiarmed bandit)以及其他复杂试验技巧的使用门槛,帮助研究人员们更好地把科研想法引入到生产中。

PyTorch-BigGraph:这是一个为含有数十亿个节点、数千亿个边的超大规模图生成嵌入的分布式系统。它可以支持分片和逆向采样,并且提供了基于维基百科数据嵌入的使用示例。

Google AI Platform Notebooks:这是一个基于谷歌云平台的新的托管JupyterLab服务。数据科学家们可以快速创建支持运行JupyterLab的虚拟机,其中还预安装好了最新的PyTorch。它也和BigQuery、CloudDataproc、CouldDataflow、AIFactory等 GCP服务紧密整合,开发者几乎不需要离开JupyterLab就可以运行完成的机器学习全流程。

更多PyTorch学习资源

随着PyTorch渐入佳境,越来越多的教育平台也开始提供基于PyTorch的学习资源;况且PyTorch灵活动态的编程环境以及大家熟悉的Python界面都让它适合快速实验上手。谷歌Colab如今已经提供了交互式的JupyterNotebook环境,为PyTorch提供了原生支持,开发者们可以在免费的CPU和GPU资源上运行任何PyTorch教程。斯坦福自然语言处理小组(StanfordNLP)、加州大学伯克利分校计算机视觉小组、加州理工大学机器人课程中都开始把PyTorch作为机器学习编程教学平台,MOOC课程中更是让成千上万的PyTorch开发者得以快速学习。

和新版本、新工具一起,Facebook宣布他们和优达学城(Udacity)建立合作,将在其中的深度学习入门课程中加入PyTorch教学,Facebook还会提供为继续学习完整机器学习学位的参加者提供奖学金。Fast.ai也将于今年 6月提供新的使用PyTorch的深度学习课程。作为课程内容的一部分,fast.ai还会更新包括fastai.audio库在内的新库作为PyTorch模块。

viahttps://ai.facebook.com/blog/pytorch-adds-new-dev-tools-as-it-hits-production-scale/,雷锋网 AI 科技评论编译

雷锋网版权文章,未经授权禁止转载。详情见转载须知。

红铁木批发

宝石盲孔球批发

冲压机械手批发

抗菌整理剂货源

相关阅读