淘宝饮品直播加“猛将”，拉飞哥首秀实现“一个小目标”
06-17
雷锋网注：【图片来源：IEEE所有者：iStockphoto】自2016年以来，研究人员一直在使用AI神经网络来帮助设计更好更快人工智能神经网络。
迄今为止，该应用程序主要是学术研究，主要是因为该方法需要数万个 GPU 小时。
然而，下个月，麻省理工学院 (MIT) 的一组研究人员将展示一种所谓的“神经架构搜索”算法，该算法可以将人工智能优化过程加快两倍或更多。
优化后的AI更快、更准确。
这种新算法的出现将有助于优化的AI在图像识别算法和其他相关应用中得到广泛应用。
麻省理工学院电气工程和计算机科学教授宋瀚表示：“我们的团队在模型大小、推理延迟、准确性和模型容量等多个方面进行了权衡。
”他补充道：“这些因素构成了一个巨大的设计空间。
过去，人们是基于受人类启发的神经网络进行设计，而新算法试图将这种劳动密集型、基于人的方法转变为基于学习、基于人工智能的设计方法，就像学习下棋一样，人工智能也可以学习设计神经网络，就像围棋和国际象棋中获胜的人工智能程序可以教大师新的策略一样，这种人工智能优化人工智能的新探索为设计人工智能提供了见解。
神经网络。
一种全新的方法。
这种类型的神经网络被称为卷积神经网络（CNN），麻省理工学院团队研究的新算法推动了这种类型神经网络的发展。
CNN 通常用作图像识别程序的神经网络。
此外，它在自然语言处理和药物发现等领域也有应用。
麻省理工学院的 Han 指出，一旦他们团队的算法建立了最优的 CNN，系统分类图像的速度很可能比其他神经架构搜索构建的 AI 快 1.8 倍。
Han 表示，该团队能够以如此惊人的速度确定最佳 CNN 设计，得益于三个重要想法：首先，他们减少了运行神经架构搜索所需的 GPU 内存负载。
一般来说，标准神经架构搜索会同时检查网络中神经层之间的所有可能连接。
然而，Han 的团队一次只在 GPU 内存中保留一条路径。
这个技巧可以在仅使用十分之一的内存空间的情况下对参数空间进行完整的搜索，从而允许他们的搜索覆盖更多的网络配置，而不会耗尽芯片上的空间。
其次，从丢弃的神经网络搜索中删除整个路径，这显着加快了神经网络搜索的速度。
第三，让神经网络搜索了解人工智能系统可能运行的硬件的延迟——无论是 CPU 加速的移动平台系统还是 GPU 加速的移动平台系统。
令人惊讶的是，韩说，关于某些图像识别神经网络的传统观点是错误的。
从某种意义上说，AI网络设计者在设计主要运行在GPU系统上的网络时，仍然在思考CPU时代。
CNN 在其图像识别算法中使用滤波器，这些滤波器是 3×3、5×5 或 7×7 像素的方形网格。
一般来说，7x7 过滤器很少见，因为人们认为运行更多 3x3 过滤器比运行单个 7x7 过滤器更快。
然而，Han 表示，经过 AI 优化的 AI 使用了相当数量的 7x7 过滤器。
他还表示，这就是 GPU 在当今大多数 AI 计算中占据主导地位的原因。
“目前，我们发现在 GPU 上运行 7x7 更简单，因为 GPU 具有很多并行性，”Han 补充道，“调用一个大核比调用几个小核效率更高。
”谈到他团队的算法，韩说：“它为人类工程师未来设计神经网络提供了良好的反馈。
”然而，这并不意味着人工智能可以构建更强大的版本。
雷锋网注：本文作者为Mark Anderson，文章编译自IEEE。
雷锋网注：【封面图片来源：网站名称IEEE，所有者：iStockphoto】雷锋网版权所有文章，未经授权禁止转载。
详情请参阅转载说明。
版权声明：本文内容由互联网用户自发贡献，本站不拥有所有权，不承担相关法律责任。如果发现本站有涉嫌抄袭的内容，欢迎发送邮件 举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。
标签：
相关文章
06-17
06-18
最新文章
Android旗舰之王的过去与未来
智能手表不被开发、AR眼镜被推迟，Meta的产品经历了一波三折
为什么Cybertruck是特斯拉史上最难造的车？
更新鸿蒙3后，文杰允许你在车里做PPT了
新起亚K3试驾体验：追求“性价比”，韩系汽车仍不想放弃
阿维塔15登场！汽车配备了增程动力，理想情况下会迎来新的对手吗？
马斯克宣布创建 ChatGPT 竞争对手！ OpenAI的CEO给他泼了冷水， GPT-5可能会发生巨大变化
骁龙无处不在，是平台也是生态