燕麦饮料如何改变地球这家公司要重新定义“牛奶”
06-21
10月20日至22日,第六届世界互联网大会在中国乌镇举行。
在本次大会的重头戏“全球领先互联网科技成果”发布活动上,人工智能独角兽旷视科技发布了名为Brain++的人工智能算法平台。
据旷视科技联合创始人和首席技术官唐文斌介绍,Brain++是“一个端到端的人工智能算法平台。
目标是让研发人员获得从数据到算法产业化的一揽子技术能力,推动人工智能快速落地,无需重新发明轮子。
” 。
我们的Brain++还引入了AutoML技术,让算法训练算法,让AI创造AI。
如果说算法模型是果实,那么开发它的环境和框架就是培育果树的土壤。
虽然开发过程中框架和底层环境并不那么引人注目,但优秀的想法和创造力如果没有支撑就无法实现。
目前,深度学习社区基本被两大框架所垄断,开源框架固然非常流行且易于使用,但在不断变化的国际环境下,又如何呢?依赖这些框架足够安全吗?同时,如果企业有新的想法和业务需求,开源框架能否完美地融入到业务中?这些都是AI企业需要思考的问题。
为此,旷视科技从2016年开始研发自己的深度学习框架,目前已经围绕AI开发构建了完整的体系。
很多人会误以为这只是旷视科技的一个深度学习框架,或者是公司内部开发的一个云计算平台。
事实上,Brain++已经成为旷视内部支撑算法研发的整体基础底层平台。
Brain++涵盖了深度学习算法开发的全流程。
具体来说,Brain++涵盖了深度学习算法开发的各个方面。
从数据采集、清洗、预处理、标注和存储开始,到研究人员设计算法架构、设计实验环节、搭建训练环境、训练、加速、参数调整、模型效果评估和模型生成,到最终的模型分发和部署应用, Brain++为旷视开发者提供一站式、全流程的AI工程解决方案。
从整体架构来看,Brain++大致可以分为三个部分,包括作为主体的深度学习算法开发框架MegEngine、提供算力支撑的MegCompute以及提供数据服务和支持的MegData。
Brain++人工智能算法平台为旷视内部全体员工所使用。
旷视科技2018年拿下3个COCO冠军,2018年拿下4个COCO冠军,今年又发布了新的通用物体检测数据集Objects,这一切都离不开Brain++的贡献。
MegEngine:终极性能MegEngine的整体架构 MegEngine是一个基于计算图像的深度学习框架。
与大多数开源深度学习框架相比,MegEngine 具有以下优势: 计算速度快:MegEngine 具有动态和静态内存优化机制,因此比 TensorFlow 更快;更少的内存占用:通过分析整个执行计划的内存占用情况,MegEngine对内存进行全面优化,特别是次线性内存优化,可以支持复杂的网络结构,并自动使用部分冗余计算来减少内存占用。
高达两个数量级,从而支持更大规模的模型训练;易用性好:MegEngine封装了平台细节,方便新用户快速上手;支持多硬件平台和异构计算:MegEngine支持通用CPU、GPU、FPGA等移动设备硬件,可用于多卡多机训练;训练与部署一体化:整个框架可用于训练,同时支持推理,实现模型一次训练、多设备部署,避免复杂转换过程带来的性能和准确性下降。
损失。
此外,MegEngine还集成了旷视最新的AutoML技术,可自动完成深度学习算法各个关键环节的设计、搜索和优化。
该技术以One-Shot方法为核心,通过一次训练完成自动化过程,将计算成本降低至传统AutoML方法的万分之一,并在内部寻找高性能、易于部署的模型结构。
可控的时间。
旷视AutoML技术图解 与市面上的AutoML技术相比,旷视AutoML技术具有以下优势: 计算成本低。
传统的AutoML技术往往需要多个训练模型,甚至遍历部分模型空间,导致计算成本巨大。
旷视的AutoML技术只需训练一次即可描述整个模型空间,大大降低了计算成本,仅为普通训练成本的1-3倍。
应用范围广泛。

旷视AutoML技术提供了一整套解决方案,覆盖大部分业务,包括活体检测、人脸识别、物体检测、语义分割等,易于部署。
旷视科技的AutoML技术涵盖了数据处理、模型训练、模型压缩、模型量化等流程,从数据处理到实现实现自动化。
高精准度。
旷视科技的AutoML技术在多项视觉任务上超越了人类手工设计,达到了业界最好的水平。
MegCompute:高效灵活 有了性能优异的深度学习框架和全面的数据平台支持,Brain++也需要强大的算力支持才能发挥其全部能力。
基于深度学习框架,旷视开发了一套支持整个平台计算的系统,称为MegCompute。
MegCompute平台的整体架构是一个包括硬件基础设施、数据存储和计算调度的平台。
用于协助研究人员部署训练环境、设计训练流程、提供算力和资源分配服务、监控实验过程、提供可视化效果。
显示、管理用户权限、存储数据等。
MegCompute具有以下几大特点: 性能强大:MegCompute拥有丰富的GPU计算资源,还支持多种类型的硬件,可以灵活高效地分配计算任务。
全流程覆盖:MegCompute支持模型构建全流程,让研究人员实现一站式商业应用服务,满足工业级AI能力研发测试、部署生产、商业生产。
灵活部署:MegCompute采用Docker容器技术,可以让用户灵活搭建部署训练环境,不再需要时直接销毁,这样资源就可以及时释放给其他用户,非常灵活。
人性化:在使用过程中,用户可以使用可视化界面进行环境搭建和训练设计工作,还可以直观地查看模型测试的结果。
它们不需要关注太多底层技术细节,使用起来非常方便。
支持多种深度学习框架:MegCompute除了与MegEngine自研的深度学习框架紧密集成外,还支持TensorFlow和PyTorch的使用。
MegData:数据综合处理在构建模型时也需要大量的数据支持。
Brain++中的MegData负责提供数据服务,主要包括四个方面:1)数据管理; 2)数据标注; 3)数据处理; 4)数据安全。
Megvii Brain++的核心组件MegData在研发过程中需要大量的图像数据,因此需要一个综合的平台来提供管理、标注、处理和存储安全相关的服务。
据旷视介绍,MegData可以提供完整的数据服务,为用户提供全流程的解决方案。
在标注方面,MegData提供数据标注相关服务,将人工标注与辅助算法相结合,提高标注效率。
经过多次业务打磨,MegData平台现已拥有全生命周期项目管理平台,进一步实现AI辅助、解放劳动力。
此外,MegData还将旷视原创算法引入标注平台,利用数据辅助算法大幅提升标注效率。
这些注释算法是基于云的,可以缩放和扩展。
旷视使用了很多算法来进行自动标注。
例如,利用聚类算法,旷视科技可以将某个标注任务的成本降低到原始成本的10%。
部分标注任务通过算法辅助验收,效率提升%以上。
与其他同类平台相比,MegData在数据层面为AI模型研究提供了安全、高效的数据存储和处理方法。
同时,由于它是基于云的,因此具有很高的灵活性。
最后,MegData补全了AI算法开发中数据处理中缺失的环节,让研发人员无需在数据层面花费过多的精力,大大提升了效率,节省了时间和研发成本。
总体而言,虽然不像其他两个Brain++模块那么引人注目,但MegData在系统中扮演着重要的角色,负责完成深度学习训练前的很大一部分数据管理、处理、标注和安全工作。
这些对于整个过程都是必不可少的。
综上所述,Brain++人工智能算法平台凸显了旷视技术发展的三大趋势。
首先,Brain++是一个完全自主研发的深度学习系统,覆盖AI业务全流程。
这表明旷视科技能够完全掌握核心研发工具和平台。
此外,旷视Brain++是专门针对计算机视觉场景开发的。
是面向业务的专业人工智能服务系统。
因此,旷视科技可以花费大量的精力针对业务需求提出专门的解决方案,并且通过开发业务驱动的框架,可以在实际应用中快速测试和验证新方法。
由于旷视科技完全掌控了Brain++本身,并通过计算机视觉相关场景来驱动Brain++的发展,因此它的迭代速度非常快。
当前,新算法层出不穷,企业迫切需要能够快速实现算法、将新方法快速投入实际生产的人工智能平台。
Brain++ 是一个很好的参考示例。
雷锋网版权文章未经授权禁止转载。
详情请参阅转载说明。
版权声明:本文内容由互联网用户自发贡献,本站不拥有所有权,不承担相关法律责任。如果发现本站有涉嫌抄袭的内容,欢迎发送邮件 举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。
标签:
相关文章
06-21
06-18
06-17
06-18
06-21
06-17
06-18
最新文章
Android旗舰之王的过去与未来
智能手表不被开发、AR眼镜被推迟,Meta的产品经历了一波三折
为什么Cybertruck是特斯拉史上最难造的车?
更新鸿蒙3后,文杰允许你在车里做PPT了
新起亚K3试驾体验:追求“性价比”,韩系汽车仍不想放弃
阿维塔15登场!汽车配备了增程动力,理想情况下会迎来新的对手吗?
马斯克宣布创建 ChatGPT 竞争对手! OpenAI的CEO给他泼了冷水, GPT-5可能会发生巨大变化
骁龙无处不在,是平台也是生态