全国第一！海尔9家灯塔工厂点亮中国智能制造
06-18
不久前的9月底，号称“ChatGPT最强替代品”的Anthropic获得了亚马逊40亿美元的投资。
不久之后，他们发表了一篇论文《朝向单义性：通过词典学习分解语言模型》（Towards Monosemanticity：Decompositing Language Models With Dictionary Learning），其中详细阐述了解释神经网络和大型语言模型（通常称为 LLM）行为的方法。
Anthropic之所以被戏称为“ChatGPT最强替代品”，主要是因为其几乎所有创始成员都参与了GPT系列早期版本的开发，尤其是GPT-2和GPT-3。
众所周知，GPT系列真正引起关注是从GPT-3之后的3.5开始。
俗话说“罗马不是一天建成的”。
而且，Anthropic的AIGC产品Claude并不逊色于ChatGPT。
克劳德2的最新版本于今年夏天推出。
英国人《卫报》对此评论道，“训练时安全是首要考虑因素，可以称为‘宪政AI’”或“宪政机器人””，人工智能或机器人的新分类和研究也可能由此开始。
现在市场上流行的LLM基本上都是基于海量神经网络构建的，而神经网络是基于海量数据AIGC进行训练的，比如文本、图片、视频等多模态或者跨模态的内容。
..，可以保证相当的精度，而且数量越来越丰富，但是可解释性始终是一个很难突破的难点，比如我们找一个AI，问1=？他们都说1=2，但是没有一个能做到。
解释这个过程是如何发生的。
即使可以进行简单的解释，也只是基于对语义的肤浅理解，就像我们人类睡觉时做的梦一样，每个人都可以粗略地描述梦的内容。
对于梦的成因，几千年来一直没有合理、统一的解释。
像ChatGPT这样的LLM经常会出现无序、混乱、虚假信息等问题，这种行为被称为“AI幻觉”，通常被说成是严重的无稽之谈，主要是因为人类无法控制大型模型中的AI和神经网络。
行为。
因此，Anthropic的研究对于提升LLM，甚至是AI和大型模型的整体准确性和安全性，以及减少有害内容的输出非常有帮助。
这篇论文作为参考还是很有用的。
论文链接：0 1 关于神经元和神经网络 为了更好地理解人择研究的意义，这里简单介绍一下几个基本概念。
神经元是神经网络的基本组成部分，主要输入、计算和输出数据。
它的工作原理是模拟大脑神经元的工作方式，接收一个或多个输入，每个输入都有相应的权重。
将这些输入和权重的乘积相加，然后添加偏差项。
得到的总和被输入到激活函数中，激活函数的输出就是该神经单元的输出。
神经元工作流程示意图，其中a1-an是输入向量的分量，w1-wn是神经元每个突触的权重值，b是偏置项，f是传递函数，通常是非线性函数，t是神经元最终的输出结果。
如前所述，神经元是神经网络的基本形式。
一定数量的神经元可以组成神经网络。
这种系统起源于对人类中枢神经系统的观察、研究和逆向应用。
最初的概念早在 20 世纪 40 年代初就被提出。
它于 2001 年首次在 IBM 计算机上实现，但此后陷入沉寂，直到 1980 年“反向传播算法”的发明，“分布式并行处理”（当时称为“连接主义”）的思想开始流行20世纪80年代中期，促使社会各界重新开始关注神经网络。
进入新世纪后，特别是2006年出现的“残差神经网络”概念，极大地突破了神经网络的深度限制。
随着“深度学习”概念的提出和流行，神经元和神经网络也越来越受欢迎。
引人注目的头发。
0 2 LLM 等大型模型的重要性。
前面说过，现在的LLM、大模型、AIGC等基本上都是靠神经元、神经网络来发展和成长的。
雄辩的 ChatGPT 也依赖于 Transformer 神经网络架构的发展。
来。
LLM 使用神经网络来处理和生成文本。
在训练过程中，他们学习如何预测文本序列中的下一个单词，或给定文本一部分的可能的后续内容。
为了做到这一点，法学硕士需要理解该语言的语法、语义以及某种程度上的上下文。
综上所述，神经元和神经网络提供了处理和生成自然语言的计算框架，LLM 使用该框架来理解和生成文本。
这也是很多人把现在LLM、AIGC、甚至整个AI的原理概括为“概率论+魔法”的主要原因之一。
客观地说，这种说法有点极端但确实有道理，因为目前大部分大型型号包括GPT系列的生成原理确实可以这样概括。
前面提到，AI的工作方式可以看作是对人脑工作方式的逆向应用和模仿，而GPT使用的黑匣子系统在结构上也模仿了大脑，由大量的神经元组成。
因此，要说“可解释性”，你必须了解每个神经元在做什么。
0 3 Anthropic的研究 Anthropic的研究是基于Transformer模型的小规模实验，将每个神经元分解为多个特征并一一排序，例如DNA序列、法律术语、HTTP请求、营养说明等。
经过实验和研究发现，单个特征的行为比神经元的行为更容易解释和可控，而且每个特征在不同的大模型中基本具有通用性。
为了验证这一研究结果，Anthropic还创建了一个盲评估系统来比较个体特征和神经元的可解释性。
从图中可以看出，特征（紫红色）的可解释性得分远高于神经元部分。
较少（青蓝色）。
此外，Anthropic还采用了自动解释方法。
最终的结果是特征得分高于神经元得分。
但这种方法比较复杂，这里不再讨论。
详细信息请参阅其论文。
Anthropic 的这项研究确实意义重大，但 OpenAI 几个月前也做了类似的事情。
今年5月初，OpenAI在官网发表了一篇博客文章《语言模型可以解释语言模型中的神经元》（语言模型可以解释语言模型中的神经元），文中称：“我们使用GPT-4自动编写LLM中神经元行为的解释，并对这些进行评分解释，现在 GPT-2 中每个神经元的这些（错误）解释和分数的数据集已经发布了，“几乎所有当时读过这篇论文的人都被 OpenAI 的奇思怪想所震惊。
头皮发麻。
当时之所以进行这项研究，主要是为了回答ChatGPT在全球的流行引发的一个问题：“AI发展到这个阶段，是如何实现如此强大的功能的？”为了回答这个问题，OpenAI当时的做法可以简单概括为“用黑匣子解释黑匣子”。
而且，OpenAI此次的研究成果，可以算是AI、大模型等相关公司后续研究探索的新方向，自然意义重大。
前面提到，AI可以看作是大脑工作原理的逆向应用，而LLM等大型模型所使用的黑匣子结构也是由海量神经元组成，同样是在模仿大脑。
OpenAI 当时给出的解释过程分为三个步骤：给 GPT-4 一个 GPT-2 的现有神经元，GPT-4 显示相关文本序列和激活状态，从而生成对此类行为的解释；再次使用GPT -4，模拟解释的神经元会做什么；比较两者的结果，根据匹配程度对GPT-4解释进行评分。
最终，OpenAI 表示，GPT-4 解释了 GPT-2 中全部约 30 万个神经元，但绝大多数实际得分较低。
只有不到一千多个分数高于0.8，这意味着神经元Most*激活行为是由这一千多个神经元引起的。
看来AI也可能有意无意地遵循着“80-20规则”。
当时，这一研究成果迅速引起全球各大科技平台的广泛关注。
有人感叹AI进化的方式越来越先进：“未来，AI将被用来改进AI和大型模型，这将加速进化。
”还有人批评其得分过低：“这就是GPT-2的解释，那么如何理解GPT-3.5和GPT-4的内部结构呢？但这就是现在很多人更关注的答案。
”虽然计算机是为了模仿人脑的原理而发明的，但人脑的结构实际上并不高效。
例如，没有存储设备和神经元。
交流也是通过激素或荷尔蒙等化学手段进行的，这是相当尴尬的。
这样“落后”的“部件”居然能够赋予人类如此高的智能，这说明人脑的强大主要在于它的架构。
当前，探索智能的本质也是脑科学研究的中心任务之一。
了解人类自身、破译思维和智能的成因，是一种科学探索的需要。
脑科学与人工智能密切相关。
它不仅可以提高我们对自身奥秘的认识，还可以提高我们对脑部疾病的认识。
同时，相关科研成果也可以为类脑计算的发展提供基础，突破传统计算机架构的限制。
但目前，类脑计算仍然有巨大的空间，等待科学研究来填补。
如今，具有数千亿参数的大型模型很常见。
如果将参数视为神经突触，那么大模型只对应人脑中的1亿个神经元。
人脑的1亿个神经元与数千亿个神经元之间的差距多达千倍之多，而这个差距也可能是人类科学迈向AGI必须跨越的鸿沟。
OpenAI和Anthropic所做的研究也给我们的科技进步展示了一种可能性：当未来的AI变得更加强大，甚至有一天可能超越人类时，它未来也能做更多的事情。
尖端科技为人类提供帮助；而在智能的研究中，AI系统也是除了生物大脑之外的新的研究对象，这也为解开智能之谜带来了新的希望。
【本文由投资社区合作伙伴微信公众号授权：壹欧网。
本平台仅提供信息存储服务。
】如有任何疑问，请联系投资界（）。
版权声明：本文内容由互联网用户自发贡献，本站不拥有所有权，不承担相关法律责任。如果发现本站有涉嫌抄袭的内容，欢迎发送邮件 举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。
标签：
相关文章
06-18
06-17
06-18
06-08
06-21
06-08
最新文章
Android旗舰之王的过去与未来
智能手表不被开发、AR眼镜被推迟，Meta的产品经历了一波三折
为什么Cybertruck是特斯拉史上最难造的车？
更新鸿蒙3后，文杰允许你在车里做PPT了
新起亚K3试驾体验：追求“性价比”，韩系汽车仍不想放弃
阿维塔15登场！汽车配备了增程动力，理想情况下会迎来新的对手吗？
马斯克宣布创建 ChatGPT 竞争对手！ OpenAI的CEO给他泼了冷水， GPT-5可能会发生巨大变化
骁龙无处不在，是平台也是生态