东车日报｜凯迪拉克首款电动车可预订-Rivian市值超越大众成全球第三-特斯拉加州致命车祸调查取消
06-21
利用人工神经网络在纳秒内完成图像分类已成为现实。
近日，奥地利维也纳技术大学光子学研究所卢卡斯·门内尔、博士等人研制的超高速机器视觉设备——自带神经网络的图像传感器，将图像处理速度提高了数百倍数千次。
当地时间3月4日，上述团队在《自然》杂志（Nature）上发表题为《Ultrafast machine Vision with 2D Material Neural Network Image Sensors》的研究论文。
雷锋网了解到，该团队设计的视觉设备像大脑一样处理信息，可以在40纳秒内区分两个不同的图像。
人工神经网络视觉能够同时获取和分析图像，是人类认识世界最重要的方式。
受此启发的“机器视觉”近年来方兴未艾。
所谓机器视觉，就是用机器代替人眼进行测量和判断。
但机器视觉不仅仅是人眼的简单延伸。
它还利用人脑的一部分从图像中提取、处理和理解信息，以进行实际测量和控制。
就机器视觉技术本身而言，其主要过程是——摄像头逐行扫描像素，然后将视频帧转换成数字信号，然后传输到计算机进行分析。
然而，问题在于，由于大量数据在传感器和处理单元之间移动，信息通常无法快速处理和生成。
这就是机器视觉经常面临的延迟。
考虑到上述因素，研究团队在图像传感器中引入了人工神经网络（ANN），可以同时获取和分析图像。
说到人工神经网络，它实际上是由大量相互连接的节点（也称为神经元）组成的计算模型。
其中，神经元作为核心接收和处理数据，在图像识别、智能机器人、自动控制、预测估计等领域发挥着重要作用。
具体来说，人工神经网络可以通过迭代调整神经元之间的连接或“突触”强度并观察当前的行为模式是否能更好地解决问题，来发现哪些模式最适合计算解决方案。
然后，人工神经网络将这些模式设置为默认值，模仿人脑的学习过程。
事实上，当天《自然》杂志的新闻与观点栏目还发表了香港理工大学的博士 Yang Chai题为《机器视觉的传感器内计算》的评论文章。
杨柴·博士在他的文章中通过下图清晰地展示了两种视觉处理方式的区别：传统及其视觉处理过程（下图a部分）：传感器采集信号并通过模拟到- 数字转换器（ADC）。
）将模拟信号转换为数字信号，放大后输入到外部人工神经网络中，然后通过参数调整来训练神经网络。
神经网络的输入层接收编码简单物理元素（点、线）的信号，然后将这些信号优化为中间特征（简单形状），最后在输出层形成图像（3D形状）； Lukas Mennel 团队的图像传感器处理流程（下图 b 部分）：芯片上互连的传感器（图中的方块）收集信号并用作人工神经网络来识别简单特征，从而减少传感器和外部电路之间的冗余数据移动。
发光二极管组成的神经网络回到研究成果本身，上述传感器本质上是一个光电二极管神经网络，即9个像素的方形阵列，每个像素有3个二极管。
此外，其感光材料为二维半导体二硒化钨（WSe2），具有调节对光响应的能力。
同时，二极管的灵敏度相当于神经网络中的权重，其权重直接集成在图像传感器上。
具体工作流程如下：当图像投影到芯片上时，会产生、组合并读取各种二极管电流。
该阵列提供模拟计算——每个光电二极管产生与入射光强度成比例的输出电流，并且根据基尔霍夫定律（电路中电流流动的基本规则）将所得电流沿行或列求和。
然后阵列开始训练。
据悉，阵列产生的电流与预测电流之间的差值（雷锋网注：对于给定的任务，如果阵列正确响应图像，就会产生所谓的预测电流）分析并用于调整下一个训练周期的突触权重。
两种神经拟态函数此外，研究团队还演示了两种基于不同神经网络算法的神经拟态函数。
一是“分类”。
3×3的像素阵列可以将图像分类为三个字母n、v、z。
经过训练的图像传感器可以根据“测量相应电路的电流是否为0”的标准来识别纳秒级的字母（下图d）。
据悉，如果按比例增加阵列尺寸，还可以识别更复杂的图像。
二是“自动编码”。
即使存在信号噪声，通过学习图像的关键特征，神经网络也可以生成处理图像的简化表示。
不过，雷锋网也了解到，该系统存在诸多局限性，例如：在昏暗环境下难以成像；其设计要求电压高，功耗大；需要大面积生产加工半导体，难度较大；最大处理3×3图像。
不过，论文作者之一卢卡斯·门内尔·博士表示：我们的图像传感器工作时不消耗任何功率，检测到的光子本身就可以用作电流功率。
传统的机器视觉技术通常能够每秒处理 10,000 帧，一些更快的系统可以每秒处理 10,000 帧，但我们的系统可以每秒处理 10,000 帧。
可以看出，尽管新技术的实施存在或多或少的限制，但这套系统在能耗和速度方面确实具有不错的表现。
杨柴博士也在文章中肯定了这项技术：这项技术不限于视觉系统，它可以用于听觉、触觉或嗅觉感知。
此类智能系统的发展，以及5G高速无线网络的到来，将使未来实时（低延迟）边缘计算成为可能。
版权声明：本文内容由互联网用户自发贡献，本站不拥有所有权，不承担相关法律责任。如果发现本站有涉嫌抄袭的内容，欢迎发送邮件 举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。
标签：
相关文章
06-18
06-18
06-18
06-17
06-17
06-18
最新文章
Android旗舰之王的过去与未来
智能手表不被开发、AR眼镜被推迟，Meta的产品经历了一波三折
为什么Cybertruck是特斯拉史上最难造的车？
更新鸿蒙3后，文杰允许你在车里做PPT了
新起亚K3试驾体验：追求“性价比”，韩系汽车仍不想放弃
阿维塔15登场！汽车配备了增程动力，理想情况下会迎来新的对手吗？
马斯克宣布创建 ChatGPT 竞争对手！ OpenAI的CEO给他泼了冷水， GPT-5可能会发生巨大变化
骁龙无处不在，是平台也是生态