导航菜单

前方切换“极客模式” 深度学习开发者峰会PaddlePaddle 11项重磅全盘点

?

在开源的第三年,深度学习平台PaddlePaddle已经大幅升级。

4月23日,在由深度学习技术和应用国家工程实验室和百度联合举办的首届WAVE SUMMIT 2019深度学习开发者峰会上,PaddlePaddle首播全景,甚至投了11首热门歌曲!

img_pic_1556085757_0.png

在开发过程中,新版工业级NLP开源工具集PaddleNLP,以及业界首款视频识别工具集;培训环节,展示大规模分布式培训,工业级数据处理两大特点;部署链接,第一个预测服务Paddle Serving and use在模型中压缩PaddleSlim;工具,第一个预训练模型管理工具PaddleHub,深度加固学习工具PARL重要升级,自动网络结构设计AutoDL设计官方开源;服务,发布价值1亿元的计算支持计划和企业深度学习实践阵营。

深度学习将人工智能推向工业生产阶段,深度学习框架是智能时代的操作系统。从开发,培训,部署,工具到服务,PaddlePaddle展示了行业实践所完善的“动手工具”的全面性,稳定性和高效性。

一,开发:新的NLP,视频两大模型工具集

在模型库方面,PaddlePaddle开辟了60多个真实业务场景验证的官方模型,涵盖了视觉,自然语言处理和推荐等AI核心技术领域,并已成为最受支持的深度学习平台。这一次,PaddlePaddle再次发布了业界级的NLP开源工具和预训练模型集PaddleNLP,以及业界首款视频识别工具集。

img_pic_1556085757_1.jpg

PaddleNLP是基于PaddlePaddle的工业应用的中文NLP工具集。它涵盖了全方位的中国加工任务,并具有出色的工业用途。 PaddleNLP提供全面的中文处理任务,并具有性能最佳的中文语义表示模型ERNIE和基于用户大数据训练的应用任务模型。基于基本NLP算法模型与PaddlePaddle深度学习框架构建的NLP应用任务的灵活组合,可以灵活地插入和移除相同类型的算法模型,这是真正有效且易于使用的。

img_pic_1556085757_2.jpg

此外,PaddlePaddle还发布了业界首款视频识别工具集,旨在为开发人员提供方便有效的模型,以解决视频理解,视频编辑,视频生成等问题。该工具集为视频任务提供了一个通用的骨架代码,涵盖了视频识别方向的七大主要模型,包括StNet,Attention LSTM和Attention Cluster,它们是百度视觉团队赢得国际竞争的领先模型。目前,领先的视频理解技术已应用于百度的众多核心业务,如百度馈源,百度搜索,百度云VCA系统等。视频标签设置Top5准确率达到96%,百度馈源视频类自由人评论。

二,培训:业界最强大的超大规模并行深度学习能力

img_pic_1556085757_3.jpg

培训,超大规模深度学习并行技术一直是PaddlePaddle的优势之一。这项大规模的分布式培训从三个方面进行了升级。首先,它是对多机多卡培训的全面支持,并实现了良好的可扩展性。同时,针对网络状况不佳的情况,发布了稀疏通信技术,大大降低了带宽对训练速度的影响。

其次,针对超大规模稀疏参数的挑战,设计并开放了大规模稀疏参数服务器,开发人员可以轻松下载相关图像。基于真实推荐场景的数据验证,PaddlePaddle可以根据100个节点* 10个线程/节点的批量大小的不同吞吐量每小时处理600-500万个数据,并且实现90%的加速该系统已应用于百度的馈源和丰超商用推广系统,可有效解决超大规模推荐系统,超大规模数据,大规模自扩展特性等问题。 - 频率模型迭代,具有大吞吐量和高效率。

第三,大规模分布式培训支持在各种容器上进行高速操作,同时支持使用PaddlePaddle在K8S生态系统中进行培训。

在这种大规模数据场景中,数据吞吐量至关重要,处理数据通常是一个主要的痛点。为此,PaddlePaddle开发了数据处理组件供开发人员使用。优化分布式IO并提高远程文件系统的流读取能力。 GPU多机多卡同步训练通过增加稀疏通信能力来提高带宽不敏感的训练能力。在低带宽网络带宽网络环境中,如10G网络,同步训练可以加速10次。

三,部署:第一个预测服务Paddle Serving,PaddleSlim用于模型压缩

在开发和培训之后,将模型部署到各种应用场景是关键的一步。部署过程需要高速推理引擎。在此基础上,为了在更多硬件上部署,通常需要进行模型压缩。在实际使用中,它还需要软硬功能的支持。

img_pic_1556085757_4.jpg

(PaddlePaddle端到端全流程部署解决方案)

目前,PaddlePaddle提供完整的端到端全流程部署解决方案。基于多硬件支持,PaddlePaddle提供了全面的领先底层加速库和推理引擎。在会议上,PaddlePaddle发布了新的预测服务Paddle Serving和PaddleSlim用于模型压缩。

img_pic_1556085757_5.jpg

Paddle Serving与核心框架的模型培训无缝连接,提供深度学习预测云服务,内置模型和批量预测。 Paddle Serving目前用于百度的许多产品线。

img_pic_1556085757_6.jpg

PaddleSlim实现了基于PaddlePaddle的模型压缩,可以有效地执行模型体积压缩,同时减少精度损失,涵盖当前主流网络修剪,量化和蒸馏压缩策略。集中管理参数,两行python代码可以调用自动模型压缩。对于已经很小的MobileNet模型,它仍然可以实现超过70%的体积压缩,而不会失去模型效果。

四,工具:开源AutoDL设计,升级PARL,启动PaddleHub

灵活性,效率和易用性是PaddlePaddle如此受欢迎的重要原因。在许多新版本和大量升级中,工具组件尤为突出。这次,PaddlePaddle不仅重量级开源AutoDL设计,升级深度强化学习框架PARL,并首次提出并发布了预训练模型管理工具PaddleHub。

img_pic_1556085757_7.jpg

传统的神经网络结构设计是由人们根据经验设计的,而连续的调整训练是为了获得最佳效果,这个过程更加复杂,费时费力。 AutoDL设计自动化网络结构设计是深度学习和深度学习设计。理想情况下,用户只需提供数据集。整个系统可以根据数据集本身不断尝试不同类型的网络结构和连接方法。一种神经网络模型,可逐步自动化迭代迭代并尝试生成模型。这一次,我们打开了基于PaddlePaddle的AutoDL Design源代码,以及在CIFAR-10数据集上训练的总共6个模型。这六种型号经过融合,精度达到98%以上。

img_pic_1556085757_8.jpg

PARL是基于百度PADLADADLE飞桨的深度强化学习工具。继1.0版神经2018假体挑战冠军训练码和主流强化学习模式之后,升级重点是平行的,简单的修改可以实现平行。化学品。在数据预处理和模拟器仿真任务密集之后,它们将自动部署到用户指定的计算资源中,不再占用主线程的计算资源。以Parl实现的IMPALA算法的评估结果为例。在经典的Atari评估环境中,乒乓球游戏7分钟内可达到20分,突破游戏25分钟内可达到400分。

0×2525个

PadderHub是一个简单易用的培训前模型管理框架,它提供了三个功能,包括培训前的模型管理、命令行一键使用和迁移学习,帮助用户管理模型并更高效地进行迁移学习。

模型管理可以通过集线器命令行完成预培训模型的下载、搜索、版本管理等功能。无需编码,可通过命令行直接使用预训练模型进行预测,并可快速研究训练模型的效果。在迁移学习方面,提出了基于预训练模型的finetune API。在这次活动中,马延军展示了一个令人惊叹的迁移学习演示,它的代码低达10行。

五、服务:计算支持计划,价值1亿元人民币!

计算能力是一种重要的“能量”,对深入学习的发展是必不可少的。为此,PaddlePaddle宣布了“土豪劣绅”计划,振奋观众。百度的一站式开发平台ai studio推出了一个价值1亿元的计算支持计划,打破了开发者的力量。

0×2526个

据报道,自由计算能力主要以两种模式提供。第一个是单人一卡模式。邀请代码可用于接收计算时间。另一种是远程集群模式。 PaddlePaddle提供高性能集群。开发人员可以免费登录AI Studio。

img_pic_1556085757_11.jpg

百度对深度学习开发人员的支持不仅限于此。对于大学和学院,我们推出了深度学习教师培训课程,协作教育基金和AI Studio教育版本。对于开发人员,免费在线课程,免费计算支持和不间断的事件交互。对于企业而言,黄埔学院是一个深度学习建筑师培训项目。这一次,公司进一步推出了深度学习阵营 AI快车道,覆盖1000家公司。

更先进的基础设施设计,更丰富的算法模型,更强大的系统性能和稳定性,更完整的异构硬件支持,更全面的开发人员生态.开源三年,PaddlePaddle在实践中始终锻造要锻炼,创造“剑”对于中国开发者

为什么风暴的智能时代在上升?也许PaddlePaddle可以作为您的选择。