小米科技创始人雷军：创业者永不退休，创业是一种生活态度
06-18
近日，谷歌和OpenAI的博客宣布了一项由谷歌、OpenAI、伯克利和斯坦福的学者联合进行的研究，其目的是为AI提供有效的行为约束，使其不会有意无意地做出危害人类的事情。
阿西莫夫的律法已经成为过去。
人工智能的担忧和局限性甚至在人工智能概念诞生之前就已经存在。
在那个人们对计算机还一无所知的时代，人们关心的是强大而强大的计算机。
拥有金属身体和超高智商的存在，有着本能的恐惧。
多年来，无数科学家和作家警告过人工智能可能会毁灭人类。
就连霍金也说过，超越人类的人工智能可能会导致人类的灭亡。
人们也探索了限制AI随意发展的各种可能性。
著名科幻小说《作家阿西莫夫》于2011年出版，书中阿西莫夫提出了举世闻名的机器人三定律（当时还没有人工智能的概念，这个概念是约翰·麦卡锡在2000年首次提出的） ）。
阿西莫夫的想法是：只要把这三个定律写进机器人的代码底层，保证机器人在任何情况下都不能违反，就可以保证人类不会受到机器人的伤害：第一定律：机器人必须不伤害人类，也不袖手旁观人类被伤害。
第二定律：机器人必须服从人类的命令，除非与第一定律相冲突。
第三定律：机器人必须在不违反第一和第二定律的情况下保护自己。
乍一看，这三定律确实可以有效防止机器人对人类造成的各种伤害。
但事实上，这条定律存在两个问题：一是描述过于模糊，机器人可能会通过各种方式解读它，从而不同程度地限制自己或伤害人类。
二是可操作性太差。
即使是现在，我们也无法创造出一个能够真正理解这三个定律含义的人工智能，我们也不知道如何将它们写入人工智能程序的底层。
如果在我们找到实施机器人三定律的方法之前人工智能就有毁灭人类的想法和能力怎么办？谷歌与OpenAI联合发布人工智能五定律。
谷歌最近发布了一篇论文，概述了人工智能的五种行为规范，目的是防止人工智能有意无意地做出伤害人类的事情。
我们可以暂且将它们称为人工智能五定律。
这里我们节选部分翻译： 尽管人工智能可能面临的安全风险已经引起了公众的关注，但目前大多数相关讨论都显得过于理想化和理论化。
我们认为尽快在机器学习领域开展相关研究是非常有必要的，因此我们开始研究切实可行的方法，以安全可靠的方式构建人工智能系统。
我们列出了五个我们认为对人工智能总体来说非常重要的问题——它们都是相对前卫的思维和长期的研究方向。
目前它们的意义还比较小，但它们将在未来的系统中发挥重要作用。
避免负面影响：当人工智能试图实现其目标时，我们如何避免对环境产生负面影响的行为？例如，它可以防止扫地机器人为了更快地清洁地板而打翻（而不是绕过）花瓶。
避免对奖励条件的非法解读：如何防止AI通过篡改测量值等方式对奖励函数进行欺骗？比如，我们不希望扫地机器人只是找个东西盖住脏东西，让它看不到，然后就认为它已经把地板擦干净了。
可扩展的监督：如何有效确保人工智能系统对系统中不方便频繁评估的对象做出适当的响应？例如，如果一个机器人需要从人那里得到训练结果的反馈，那么它需要有能力有效地利用这个反馈（而不是像普通训练一样不断地检查训练结果），因为它不断地问一个人的问题是很烦人。
环境勘探安全：如何有效保证AI系统在评估环境时不会造成太大的负面影响？例如，扫地机器人可能需要进行实验来建立拖地策略，作为未来工作的基础。
但很明显，无论你多么努力地尝试，你都不应该尝试将湿拖把插入插座。
分配转换的鲁棒性：当人工智能系统处于与训练环境完全不同的环境中时，如何确保其认知和行为的稳定性？例如，允许机器学习工厂行为的启发式方法在办公室可能不太安全。
其重要性不言而喻。
确实，很多人担心人工智能对人类的威胁。
包括埃隆·马斯克和霍金等，如果要详细区分的话，这种担忧更多的不是AI的力量，而是它的力量能否用在正确的地方。
AlphaGo投资者Talllinn在接受采访时表示：我们需要重新定义AI研究的目标。
我们不仅仅停留在纯粹的智能开发上，而是开发能够与人类价值观充分对接的超级智能。
也是这种担忧的体现。
然而，尽管公众普遍意识到这种可能性，但相关认真研究的数量实际上还比较少。
但这不包括谷歌。
谷歌长期以来一直重视人工智能安全。
谷歌此前曾发表论文，设计了一个紧急停止算法运行的开关，并保证开关的效果不会被算法阻挡。
，此开关是预防措施的紧急措施。
雷锋网（搜索“雷锋网”公众号关注）已翻译论文内容，点击查看。
谷歌联合多个机构制定的这套新规则的目的是从源头——设计层面阻止AI做出有害的事情。
AI安全联盟打霍金脸？OpenAI是一个为防止人工智能灾难性影响、推动人工智能为人类发挥积极作用而成立的组织。
可以说，与谷歌在这方面的努力是完美契合的。
此次合作研究旨在汇聚更多精英的智慧，产出更多有用的成果。
也是为了扩大这项研究的影响，为人工智能安全研究发挥更大的推动作用。
因为众多大公司和机构组成的联盟无疑会引起更多的关注。
虽然阿西莫夫的著作逻辑性很强、条理清晰，而且他的很多著作也确实预言了科技发展的趋势，但机器人三定律毕竟还只是文学作品的附属产品，在实用性方面还存在很多不足。
严格。
谷歌等团队此次提出的这五个约束条件，概括性地总结了当前人工智能发展中需要注意的事项。
它们比宽泛且缺乏可操作性的机器人三定律更实用。
论文中提到了更详细的实现方法。
AI技术评论将在明天的推送中提供全文翻译。
版权声明：本文内容由互联网用户自发贡献，本站不拥有所有权，不承担相关法律责任。如果发现本站有涉嫌抄袭的内容，欢迎发送邮件 举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。
标签：
相关文章
06-17
06-21
06-18
06-18
06-18
最新文章
Android旗舰之王的过去与未来
智能手表不被开发、AR眼镜被推迟，Meta的产品经历了一波三折
为什么Cybertruck是特斯拉史上最难造的车？
更新鸿蒙3后，文杰允许你在车里做PPT了
新起亚K3试驾体验：追求“性价比”，韩系汽车仍不想放弃
阿维塔15登场！汽车配备了增程动力，理想情况下会迎来新的对手吗？
马斯克宣布创建 ChatGPT 竞争对手！ OpenAI的CEO给他泼了冷水， GPT-5可能会发生巨大变化
骁龙无处不在，是平台也是生态