中关村集成电路设计园正式开园
06-06
毫无疑问，新款 iPad Pro 仍然是阅读、游戏、观看视频和绘图的最佳平板电脑。
但随着 M4 芯片、Magic Keyboard 和 Apple Pencil Pro 的加入，iPad 比以往任何时候都更接近笔记本电脑。
那么，未来iPad会逐渐成为具有触控功能的MacBook吗？答案可能是否定的。
在最新的 iOS 18 中，苹果利用这种“辅助功能”来预测 iPad 交互的新未来。
眼动追踪：从 Vision Pro 到 iPad 最近，苹果宣布在其 iPadOS 18 操作系统中添加新的“眼动追踪”功能。
这个看似不起眼的功能被放置在介绍页面的顶部。
说起眼动追踪，很多人可能首先想到苹果之前发布的Vision Pro。
该设备最突出的特点之一是它使用眼动追踪来代替传统的手柄。
用户可以通过移动眼球来控制应用程序、导航菜单，甚至玩游戏，而无需依赖触摸或外部设备，极大地提高了使用的便利性，展现了这种交互方式的魅力。
这主要得益于Vision Pro中分布的多个红外摄像头以及M2和R1双芯片的设计，使其能够利用图像处理技术来提取与眼动相关的特征，并通过构建模型来实现眼动跟踪。
▲ Vision Pro 相机分布，图片来自苹果。
前不久发布的新款iPad Pro外形上的一个重要变化就是将摄像头从窄边移至长边。
摄像头模组中的点阵投影仪、泛光传感器元件、前置摄像头、红外摄像头都搭配了新的M4芯片，现在看来是在为后续计划做铺垫。
更新说明还显示，苹果的眼动追踪功能完全通过设备上的机器学习实现，这意味着它不需要任何额外的硬件，可以立即在所有运行 iPadOS 18 的设备上使用，证实了这一点。
一判断。
▲ 图片来自 Bilibili 博主：微电脑 WekiHome 目前有两种业界认可的眼动追踪方法，包括基于外观的眼动追踪和基于二维映射的眼动追踪。
前者主要使用人脸图像或眼睛图像作为输入进行特征提取，然后通过机器学习将这些特征与注视方向关联起来。
这种方法很简单，只需要一个摄像头，但需要大量的训练数据来构建准确的模型，以正确解释你注视的方向。
另一种基于二值映射的眼球跟踪方法主要通过分析眼球和角膜反射的相对位置变化来确定眼球运动。
由于眼球移动时角膜反射点的位置不会发生变化，因此可以作为瞳孔移动的参考点，根据两者相对位置的变化来计算实现的方向。
在校准过程中，您需要查看屏幕上的特定点，系统将记录这些点和您的眼睛数据以构建映射模型。
然后，当您查看其他地方时，系统可以使用此模型来准确了解您正在查看的位置。
▲ 瞳孔-角膜反射矢量法示意图，图片来自网络。
其实现在看来，眼动追踪的原理并不是很复杂，现有的硬件条件足以满足需求。
但事实上，苹果为了实现这一功能其实经历了一个漫长的过程。
多年计划的最后一步。
多年前，苹果就开始在眼球追踪领域部署与网络相关的人才和技术。
2016年，苹果收购了PrimeSense，这是一家来自以色列的公司，为微软的Xbox Kinect提供运动控制技术。
▲ PrimeSense 创始人合影。
该公司推出了Capri，一款非常紧凑的3D相机，可以嵌入手机、平板电脑和其他设备中。
这是 PimeSense 在今年 Google I/O 大会上展示的内容： ▲ Capri 安装在 Google Nexus 平板电脑上 ▲ Capri 对真实场景进行 3D 建模，获取场景中物体的长、宽、高等具体数据场景▲通过AR技术模拟真实空间中椅子的碰撞信息▲将3D图像传输到3D打印机，完成3D打印。
同时推出的还有当时号称“全球最小的3D传感芯片”。
由于其良好的性能和紧凑的尺寸，使得它可以部署在手机、电视等多种电子设备上。
2017年，苹果收购了德国老牌眼动追踪技术公司SensoMotoric Instruments。
它曾经是全球最大的眼球追踪设备制造商。
依托“MoneyCapacity”带来的一系列眼动追踪软硬件，苹果于同年在其FaceID中首次使用了眼动追踪功能，以提高解锁的安全性。
随后几年，苹果与眼动追踪相关的专利申请不断泄露，苹果也不断探索。
这不仅促成了 Vision Pro 基于眼动追踪的交互方式，也催生了对其他苹果设备上眼动追踪的无尽研究。
可能的。
▲ 对眼动追踪未来的早期思考以及“注意力检测”专利内容 与传统交互方式（鼠标、键盘、触摸等）相比，眼动追踪有几大优势： 自然直观：眼动追踪利用人的自然运动人眼进行交互，无需额外的操作设备。
用户只需看向目标即可完成相应操作，降低了学习成本，交互更加直观。
提高效率：眼部肌肉是人体反应最快的肌肉之一。
通过眼动追踪，用户可以更快地选择和控制界面元素，减少手部动作，提高操作速度和效率。
与其他输入方式结合：眼动追踪可以与语音控制、手势操作等其他输入方式结合，提供更丰富、更灵活的交互方式。
多任务处理：用户在执行其他任务（例如驾驶或行走）或同时处理多项任务时，只需使用眼动追踪控制，无需进行不必要的动作，提高操作效率。
数据分析和个性化：眼动追踪可以提供有关用户注意力和兴趣的有价值的数据。
这些数据可用于优化界面设计、广告投放和用户体验个性化，使系统更加智能和人性化。
增强现实（AR）：在AR环境中，眼动追踪可以提供更加身临其境和自然的交互体验。
用户可以通过查看虚拟对象来选择和操作虚拟对象，提高用户体验。
正是由于这些优势，它在很多特定场景中展现出了巨大的潜力。
例如，在很多游戏中，眼动追踪除了带来更便捷的操作之外，还会给玩家带来更好的沉浸感，让玩家只需通过实现就能控制游戏内的角色并与之互动。
▲ 使用眼动追踪来控制游戏，图片来自网络。
此外，实现眼动追踪功能后，开发者还可以根据眼动数据调整场景光照、视角变化等诸多参数，以适应用户个人视觉习惯，让游戏画面更加真实。
。
游戏中的社交互动还可以利用虚拟角色实现随玩家脸部实时变化的各种动作状态，如方向、眨眼、眯眼等，丰富角色的情感表达，从各方面提高游戏的沉浸感。
方面。
除了游戏之外，这项技术给日常生活带来的改变或许更值得期待。
Vision Pro发布后，一个重要的应用场景是教育、医疗等场景。
毫无疑问，这也适用于实现眼动追踪的iPad。
在飞行员模拟训练、手术模拟等职业培训领域，通过跟踪学生的眼球运动来评估决策速度和准确性。
眼动追踪可以为教师提供学生学习过程中注意力和理解情况的实时反馈，有助于指定个性化教学策略并改进课程内容。
▲ 飞行驾驶模拟教学设备上安装的眼动追踪设备 还有一些场景非常适合眼动追踪交互，比如家庭环境就是其中之一。
通过眼动追踪，iPad可以成为智能家居控制台，控制家居；或者在手上有其他东西或者手脏的时候提供更好的交互体验。
尽管眼动追踪的应用潜力巨大，但也有业内人士质疑这项技术的安全性。
数据显示，一个人的眼睛数据会暗示用户的年龄、性别、种族、情绪状态、性格特征等多种信息。
John Villasenor，美国技术、法律和政策研究所创始人兼教职联合主任。
加州大学洛杉矶分校表示，一旦眼球追踪技术成熟，它将收集更多信息：我们在网上阅读什么，甚至我们如何阅读。
。
例如，我们是否看到过一个网页广告，想了一会儿，最后却没能点击它？当我们阅读整个网页时，我们的眼睛如何移动？我们喜欢或避免哪些单词、短语或主题？未来，我们面前展示的广告是否不仅仅取决于我们买了什么，还取决于我们眼球的运动状态？ ▲ John Villasenor，加州大学洛杉矶分校电气工程系教授。
显然，如果我们能够了解用户注视的持续时间和焦点偏好，结合瞳孔大小、眼跳等多个维度的数据，我们就能更准确地“猜你喜欢”。
无疑会更加准确，隐私保护的难度也会线性升级。
对此，苹果的答案是将所有捕捉和解释都放在设备上，而不需要其他外部硬件，例如专门用于捕捉眼球运动数据的眼镜，而且苹果看不到相机捕捉到的任何东西。
内容。
但在当前用户越来越注重隐私和安全的背景下，信息泄露的情况时有发生，可能仍然难以解决用户的担忧，也可能成为导致用户隐私泄露的重要因素。
眼动追踪功能很难实现。
▲ Tobii Pro Glasses 2，专门用于捕捉眼动数据，图片来自 Tobii 另外，还有一个更大的问题是如何保证眼动追踪在不同环境下稳定准确地运行，并且能够适应戴眼镜、有人具有特殊的眼睛特征等。
而且由于人们的视线经常移动得非常快，运动往往是不规则的或跳跃的，这也是眼动追踪必须解决的一个重要问题。
针对这个问题，苹果可能会用AI来解决。
负责开发 Vision Pro 的前苹果员工斯特林·克里斯平 (Sterling Crispin) 曾在 Twitter 上表示，苹果使用了大量神经科学来开发其一些关键功能，例如使用 AI 来预测用户操作行为：AI 模型将尝试预测你是否会感到好奇、心烦意乱、害怕、集中注意力、回忆过去的经历或其他认知状态。
这些可以通过眼动追踪测量来推断。
他还说，这很大程度上是因为你的学生在你点击之前做出了反应，部分原因是你期望点击后会发生一些事情。
因此，可以通过检测用户的眼睛行为并尝试重新设计 UI 以创建更多这种预期的瞳孔反应来创建用户大脑的生物反馈。
他还兴奋地表示，这种融合AI算法和实时反馈的眼球追踪反馈正在使其成为一个“粗糙的脑机接口”，非常酷。
iPad功能扩展，地位重塑 当然，眼动追踪成为“脑机接口”的描述或许有些夸张，但不可掩盖的是它拓展交互方式的潜力。
iPad刚诞生时就被寄予厚望，但仍被很多人视为“购后爱奇艺”。
根本原因在于缺乏互动。
在这方面，苹果其实已经做了很多努力，比如Apple Pencil和Magic Keyboard的加入，这在某种程度上可以看作是苹果丰富平板交互方式的尝试。
不过，这些努力似乎并没有从根本上改变iPad的尴尬处境。
毕竟，如果您想使用键盘，为什么不直接选择 MacBook 呢？ Apple Pencil 虽然挖掘了 iPad 形态在专业领域的潜力，但受限于狭窄的专业领域，无法成为拯救 iPad 的关键。
此外，从“辅助功能”中寻找新的交互方式一直是苹果挖掘产品潜力、提供新突破的重要途径。
例如，Apple Watch Series 9 的双击功能可以感应手指运动，无需触摸即可控制手表。
它推出后受到了很多用户的好评，但也长期被隐藏在“辅助触控”的角落里。
与眼动追踪非常相似的交互实际上隐藏在苹果的“辅助功能”列表中。
例如，在很多Mac电脑的“辅助功能”中，都出现了“头部控制指针”，用户可以用头部移动来控制指针的移动。
随着iOS 18的更新，眼动追踪也很有可能会从“辅助触控”的角落移到舞台中央，过一段时间它将成为你每天使用的重要功能。
开启全新iPad互动时代。
也许 iPad 的未来不仅仅是手指控制。
版权声明：本文内容由互联网用户自发贡献，本站不拥有所有权，不承担相关法律责任。如果发现本站有涉嫌抄袭的内容，欢迎发送邮件 举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。
标签：
相关文章
06-06
06-17
06-17
06-17
06-06
06-18
06-17
06-06
06-17
06-17
最新文章
Android旗舰之王的过去与未来
智能手表不被开发、AR眼镜被推迟，Meta的产品经历了一波三折
为什么Cybertruck是特斯拉史上最难造的车？
更新鸿蒙3后，文杰允许你在车里做PPT了
新起亚K3试驾体验：追求“性价比”，韩系汽车仍不想放弃
阿维塔15登场！汽车配备了增程动力，理想情况下会迎来新的对手吗？
马斯克宣布创建 ChatGPT 竞争对手！ OpenAI的CEO给他泼了冷水， GPT-5可能会发生巨大变化
骁龙无处不在，是平台也是生态