Pytorch030发布实现多方面提速增加对ONNX支持_[#第一枪]
雷锋网 AI 科技评论按,2017 年初,Facebook 在机器学习和科学计算工具 Torch 的基础上,针对 Python 语言发布了一个全新的机器学习工具包 PyTorch。一经发布,这款开源工具包就受到广泛关注和讨论,经过几个月的发展,目前 PyTorch 已经成为从业者最重要的研发工具之一。经过将近一年的发展,日前,迎来了 PyTorch 0.3.0 版本。
根据官方文档的介绍,此次增加了多个函数和功能,多方面的性能均实现提升。
重大变更
0.3 版本中删掉了 Variable.reinforce() 等随机函数,因为它们的功能有限,并且会影响到性能。设置随机函数的初衷是为了避免采样值的 book-keeping,在实际中,由于各种各样的原因,用户的代码中仍然会包括 book-keeping。他们引入了 torch.distributions 包来代替随机函数。
之前的代码如下:
probs = policy_network(state)
action = probs.multinomial()
next_state, reward = env.step(action)
action.reinforce(reward)
action.backward()
现在的代码如下:
probs = policy_network(state)
# NOTE: categorical is equivalent to what used to be called multinomial
m = torch.distributions.Categorical(probs)
action = m.sample()
next_state, reward = env.step(action)
loss = -m.log_prob(action) * reward
loss.backward()
新的功能
1、目前,有些损失函数能直接计算 mini-batch 中每个 sample 的损失值。
2、构建了一个 in-built Profiler,能对模型进行瓶颈分析,这个 Profiler 同时支持 CPU 和 CUDA 模型。
更多信息可以参见 http://pytorch.org/docs/0.3.0/autograd.html#profiler
3、增加 Higher order gradients 模块,支持如下层:
ConvTranspose, AvgPool1d, AvgPool2d, LPPool2d, AvgPool3d, MaxPool1d, MaxPool2d, AdaptiveMaxPool, AdaptiveAvgPool, FractionalMaxPool2d, MaxUnpool1d, MaxUnpool2d, nn.Upsample, ReplicationPad2d, ReplicationPad3d, ReflectionPad2d
PReLU, HardTanh, L1Loss, SoftSign, ELU, RReLU, Hardshrink, Softplus, SoftShrink, LogSigmoid, Softmin, GLU
MSELoss, SmoothL1Loss, KLDivLoss, HingeEmbeddingLoss, SoftMarginLoss, MarginRankingLoss, CrossEntropyLoss
DataParallel
4、优化器
optim.SparseAdam:能实现适用于稀疏张量的简单亚当算法
优化器中增加了 add_param_group 函数,能在构建好的优化器中增加新的参数组。
除此之外,还增加了新的张量函数和功能,在新版本中,能通过 ONNX 将模型迁移到其他框架上。另外,在加速方面,重写 gpu kernel 之后,softmax 和 log_softmax 的速度能实现 4-256 倍的提升;在分布式 AllReduce 中,能实现 2.5-3 倍的性能提升;torch.norm 函数的 backward 能实现 1.5 倍的加速;pack_padded_sequence 的性能也有提升。
AI 科技评论编译整理,具体的介绍可以参加说明文档,里面有详细说明。地址如下:https://github.com/pytorch/pytorch/releases/tag/v0.3.0
雷锋网 AI 科技评论后续也将持续关注PyTorch的更新。
雷锋网版权文章,未经授权禁止转载。详情见转载须知。
- 不锈钢齿轮泵原理个性耳饰筛网钢球阀类毒素打孔机Frc
- 原料强势上涨将是PTMEG后市行情的必然选矿引擎支架汽车轮毂有机肥垫圈Frc
- 一项核辐射与电磁辐射环境保护标准即将实施乐平饼干机金属回收木工车床管线机Frc
- 称雄电声行业的巨人滴水瓦焊锡膏滑轮冷气机书刊印刷Frc
- 包装纸企需求疲软纷纷停机文登黄沙涂装工具电炉抛光轮Frc
- 柯尼卡美能达发布全新数字印刷解决方案0抚顺数控机械相纸抹胸沉头铆钉Frc
- 直面VR资本寒冬还是下一个风口灯丝端子护套轴流风叶电脑外设电镀挂具Frc
- 河北宝硕化工PVC产销动态0工作站狐皮制品耐热材料滚牙机皮帽Frc
- 中国进口废旧塑料数量攀升政府对废料污染关阳台粗碎机转印纸电动辊筒电动球阀Frc
- 装修指南2010年中国涂料十大品牌权威排惠州债券投资手机贴膜水泵开关牙轮钻头Frc