小霸王
06-18
作者 |由塞巴斯蒂安·鲁德编译 |安东尼奥编辑|陈彩娴今年线下举行了ACL，谷歌研究员的塞巴斯蒂安鲁伯也出席了会议！ ACL 在都柏林举行，Sebastian Ruber 则位于不远处的 Google London。
ACL之行结束后，他热情地写下了自己参加会议的经历，并分享了他对几个学术发展的担忧，包括：1）语言多样性和多模态； 2）提示学习； 3）人工智能下一件大事； 4）他最喜欢的会议文章； 5）语言和智力的暗物质； 6）混合的个人经历。
以下AI技术综述在不改变原意的情况下对他的分享进行了整理和编辑： ——1——语言多样性和多模态。
注：ACL 主题演讲小组讨论支持语言多样性的小组成员及其语言。
ACL 有一首主题曲目，名为“语言多样性：从低资源到濒危语言”。
除了赛道上的优秀论文外，语言多样性也渗透到了会议的其他部分。
史蒂文·伯德（Steven Bird）主持了一场关于语言多样性的小组讨论，研究人员在会上谈论和研究代表性不足的语言。
小组成员分享了他们的经验并讨论了语言之间的权力动态等话题。
他们还提出了切实可行的建议，鼓励在此类语言上开展更多工作：创建数据资源；为资源匮乏和濒危语言的工作建立会议轨道；并鼓励研究人员将他们的系统应用于资源匮乏的语言数据。
他们还提到了一个积极的进展，即研究人员越来越意识到高质量数据集的价值。
总体而言，小组成员强调，使用此类语言需要尊重说话者、文化和语言本身。
濒危语言也是Compute-EL研讨会的焦点。
在颁奖典礼上，最佳语言洞察论文展示了 KinyaBERT，这是一个使用词法分析器针对基尼亚卢旺达语进行预训练的模型。
最佳主题论文为三种加拿大原住民语言开发了语音合成模型。
后者提供了多模式信息如何有益于语言多样性的示例。
最佳语言洞察论文：KinyaBERT: a Morphology-aware Kinyarwanda Language Model 地址：and Motivations of Low-Resource Speech Synthesis for Language Revitalization 地址：ACL 得到了改进，其中多模态方法主要处理英语。
随后，作者还受邀就“Expanding the NLP system to the next language”做了口头报告。
图例：Sebastian Ruder 在 ACL 的现场报道。
在特邀演讲中，作者介绍了将NLP系统扩展到下一种语言的另外三个挑战，即计算效率、对真实语料库的评估以及语言变体（例如方言）。
），他还强调了多模态的重要性。
多模态也是 Mona Diab 宣布的 ACL D&I 特别倡议“通过本地化实现 60-60 全球化”的核心。
该计划的重点是使计算语言学 (CL) 研究能够同时应用于 60 种语言和所有模式，包括文本、语音、手语翻译、隐藏式字幕和配音。
该程序的另一个有用的方面是将最常见的 CL 术语整理并翻译为 60 种语言，而科学术语缺乏准确的表示对许多语言的 CL 的发展构成了障碍。
代表性不足的语言通常几乎没有可用的文本数据。
两个教程侧重于将该模型应用于此类资源匮乏的语言。
(1) 关于有限文本数据学习的教程讨论了数据增强、半监督学习和多语言应用，而 (2) 关于使用预训练语言模型的零样本和少样本 NLP 的教程涵盖了提示、上下文学习、梯度基于LM的任务迁移等。
教程（一）：使用有限文本数据进行学习，来自中国学者杨迪的教程链接：ByT5[8]完全取消了标记化，直接对字节进行操作。
通常，语言不仅在言语形式上不同，而且在文化上也不同，包括说话者的共同知识、价值观和目标。
赫什科维奇等人。
[9] 很好地概述了跨文化 NLP 的重要性。
例如，查看特定文化中与时间相关的语言表达，例如早晨，它可能指的是不同语言中的不同时间。
图例：不同文化背景下可能发生变化的四个维度：言语形式、目标价值、共享知识、聚焦内容。
除了上面提到的文章之外，作者还列出了他最喜欢的文章： 1. 非洲语言的以非洲为中心的 NLP 定位：我们在哪里，我们可以去哪里。
文章讨论了 NLP 对非洲语言的挑战，并就如何应对这些挑战提供了实用建议。
它强调了非洲大陆的语言现象（语调、元音和谐和连续动词结构）和其他挑战（识字率低、正字法不标准化、官方语境中缺乏语言使用）。
文章链接：对70种语言的大规模多语言数据集进行仔细审查，发现了一些以前未被注意到的数据质量问题。
它强调了许多低资源语言数据集的质量很差，有些甚至完全被错误标记。
文章链接：一）NLP原型研究趋势，通过审视ACL'21上口头报告的论文发现，目前的NLP虽然已经超越了这一趋势，但仍然存在研究维度单一的问题。
他们发现，近 70% 的文章仅以英文进行评估，近 40% 的文章仅评估表现。
只有6.3%的文章评估了公平性、偏见等，只有6.1%的文章是“多维度”的，即分析了两个或多个维度。
ACL’21 文章研究内容的分类可视化。
这种聚集现象体现了研究的单一性。
论文地址：Hu [10] et al.建议使用知识库中的单词来扩展语言引擎。
刘家成 [11] 等。
首先使用语言模型在少量样本设置中生成相关知识陈述，然后使用第二语言模型来回答常识性问题。
我们还可以通过修改训练数据来合并额外的知识，例如，在实体后面插入元数据字符（例如，实体类型和描述）[12]。
其他论文提出了适合特定应用的技巧。
赖夫等人。
[13]提出了一种可以处理不同风格示例的模型，以进行风格迁移；而塔巴西等人。
[14]利用语义相似性任务的相似性函数来获得由特殊符号标记的词嵌入[MASK]。
纳拉扬等人。
[15]通过预测目标摘要之前的实体链（例如“[ENTITYCHAIN] Frozen | Disney”）来指导摘要模型，如下图所示。
希克等人。
[16]用包含某个属性的问题提示模型（例如，“上述文本是否包含威胁？”），以诊断模型生成的文本是否具有攻击性。
本·大卫等人。
[17]生成域名和域相关特征作为域适应的提示。
图例：纳拉扬等人。
[16]通过在目标摘要之前预测实体链来指导摘要模型在与视觉相关的多模态设置中执行提示学习，也受到了一些关注。
金等人。
[18]分析了几次学习环境中不同线索的影响。
宋浩宇等. [19]利用CLIP探索视觉语言领域的小样本学习。
他们使用 T5 模型根据视觉问答生成提示，并使用语言模型过滤掉不可能的答案。
然后将线索与目标图像配对，并使用 CLIP 计算图像-文本对齐分数。
如下所示。
图例：宋浩宇等人。
[19]使用T5模型生成提示，并使用CLIP获取图文匹配度。
最后，有几篇论文试图更好地理解即时学习。
米什拉等人。
[20]探索重组指令的不同方法，例如将复杂的任务分解为几个更简单的任务或逐项列出指令。
卢等人。
[21]分析了模型对少数样本量级的敏感性。
由于没有额外的开发数据就无法确定最佳排列，因此他们使用语言模型本身生成综合开发集，并通过熵确定示例的最佳顺序。
以下论文是与 作者 合作进行的少样本学习相关的工作：FewNLU：针对少样本自然语言理解的 SOTA 方法进行基准测试。
文章介绍了一个使小样本评估更加可靠的评估框架，包括新的数据分割策略。
我们在这个框架内重新评估最先进的小样本学习方法。
我们观察到某些方法的绝对和相对性能被高估，并且某些方法的改进随着预训练模型的增大而降低等。
文章链接：Big Ideas）谈话网站 作者 特别提到他最喜欢的会议之一是 Next Big Ideas ，会议组织者首创的一种新形式。
此次会议汇集了资深研究人员对重要研究方向的深刻见解。
对于作者来说，会议上突出的两个主题是结构和模块化。
研究人员强调需要提取和表示结构化信息，例如关系、事件和叙述。
他们还强调了思考如何通过人类定义和适当模式设计来表示这些内容的重要性。
许多主题需要处理多个相互依赖的任务，无论是故事理解、推理还是模式学习。
这将需要多个模型或组件相互连接。
（如果读者想了解更多有关模块化方法的信息，作者 在 EMNLP 上提供了有关 NLP 模型的模块化和高效参数微调的教程。
）总体而言，这些研究提案概述了一个令人信服的愿景：NLP 模型提取、表示和推理以结构化、多主体的方式了解复杂的知识。
Heng Ji 在会议开始时热情呼吁 NLP 模型中更多的结构表示。
她强调从当前的句子级和文档级信息提取到语料库级信息提取的转变，并指出从其他类型的文本（例如科学文章和低资源语言）中提取关系和结构。
在多模式设置中，图像和视频可以转换为视觉标记，然后将其组织成结构并使用结构化模板进行描述。
提取的结构可以进一步概括为模式和事件模式。
我们可以通过将结构嵌入到预先训练的模型中、通过图神经网络或全局约束对其进行编码来表示结构。
米雷拉·拉帕塔 (Mirella Lapata) 讨论故事以及我们为什么应该关心它们。
故事有形式、结构和反复出现的主题，这是自然语言理解 (NLU) 的核心。
它们还与许多实际应用相关，例如问答和总结。
为了处理故事，我们需要进行半监督学习并训练模型，以便它们可以处理很长的输入或多个相互依赖的任务（例如，对角色、事件、时间性进行建模等）。
这需要模块化模型并在闭环中纳入人类协作。
Dan Roth 强调了基于 NLU 的推理对于决策的重要性。
考虑到推理过程的多样性，这需要多个相互依赖的模型和规划过程来确定哪些模块相关。
我们还需要能够推理时间和其他物理量。
为此，我们需要能够提取、关联和搜索相关信息，并为推理过程提供解释。
为了监督模型，我们可以使用附带监督，例如可比文本。
Thamar Solorio 讨论了如何为世界上一半的多语言人口和经常使用语言转换的人提供服务。
相比之下，当前的语言技术主要迎合单语使用者。
通常使用语言翻译的非正式环境变得越来越重要，例如在聊天机器人、语音助手和社交媒体的环境中。
她指出了资源有限、对话数据中的“噪音”以及音译数据问题等挑战。
我们还需要确定相关用途，因为语言转换并非与所有 NLP 场景相关。
最终，“我们需要代表人们使用语言的实际方式的语言模型。
” Marco Baroni 专注于模块化。
他提出了一个研究愿景，其中冻结的预训练网络通过自主交互来共同解决新任务。
他建议模型应该通过易于推广的学习接口协议进行通信。
爱德华·霍维敦促我们重新发现代表性和知识的必要性。
当训练数据中很少或从不存在知识（例如隐性知识）时，模型不会自动学习它。
为了填补这些空白，我们需要定义一组我们关心的人类目标和模式，以捕获未说或要说的内容。
这需要将学习过程发展为一组相互关联的过程，例如大流行背景下的患者、流行病学家和病原体的学习过程。
同样，为了捕捉团队中人们的角色，我们需要人类的定义和指导。
总的来说，他鼓励社区构建可以通过模型学习的拓扑。
最后，李航强调了符号推理的必要性。
他提出了一种 NLU 的神经符号架构，它将通过预训练模型的类比推理和通过符号组件的逻辑推理结合起来。
除了下一个大创意会议之外，会议还包括早期职业研究人员的演讲。
作者很荣幸能与 Eunsol Choi、Diyi Yang、Ryan Cotterell 和 Swabha Swayamdipta 等杰出的年轻研究人员一起发表演讲。
他希望未来的会议将继续采用这些形式并尝试其他形式，因为它们带来新的视角并提供更广泛的研究视角。
——4——语言与智力的暗物质 注：Yejin Choi教授推测ACL可能是什么样子 Yejin Choi教授发表了鼓舞人心的主题演讲。
除此之外，这是我看到的第一个使用 DALL-E 2 绘制幻灯片的演示。
她通过与物理学的类比，强调了 NLP 研究的三个重要领域：歧义、推理和隐含信息。
在现代物理学中，更多的理解往往会导致更多的模糊性（例如，参见薛定谔的猫或波粒二象性）。
Yejin 还鼓励 ACL 社区接受歧义。
过去，研究人员往往不会做那些未达到注释者间高度一致的任务；同样，在传统的情感分析中，中性类别经常被丢弃。
理解不能局限于简单的范畴。
具有注释者意见偏差和模糊示例的语言模型提高了泛化能力。
与时间和空间的概念类似，叶金认为语言、知识和推理都不是独立的领域，而是存在于一个连续体中。
maieutic提示[22]等推理方法使我们能够通过递归生成解释来研究模型知识的连续性。
最后，与暗物质在现代物理学中的核心作用类似，未来 NLP 的研究应该集中在语言的“暗物质”上，即世界运转的潜规则，影响人们如何使用语言。
我们应该立志尝试教授模型，例如默认规则、价值观和目标。
Yejin坦率地总结了她成功的因素：谦虚、向他人学习、敢于冒险；但也很幸运，在一个包容的环境中工作。
——5——关于这次会议的体会。
注：都柏林会议中心，ACL 举办地。
作者表示，他非常喜欢面对面的会议体验。
会议期间有严格的口罩要求。
唯一的问题是全体会议和主题演讲期间出现的一些技术问题。
另一方面，作者也发现很难协调现场会议体验与虚拟会议体验。
虚拟海报会议通常与早餐或晚餐时间重叠，因此很难参加。
据我所知，许多虚拟海报会议的观众几乎都是空的。
看来我们需要重新思考如何在混合环境中进行虚拟海报会议。
作为替代方案，在 Rocket.chat 或类似平台中创建异步的每张海报聊天室可能会更有效，并且能够设置即兴视频通话以进行更深入的对话。
作者还享受了与一定数量的虚拟参与者进行口头演讲和研讨会的体验。
他还特别感谢他能够多次观看的主题演讲和其他受邀演讲的录音和录像以及视频。
参考链接： 调用它：通过数据的语音表示进行灵活的多模态语言模型训练。
用于具有发音特征的低资源文本到语音的与语言无关的元学习。
搜索美国手语的手语内容。
有声语言的自动歌曲翻译。
一种缓解预训练语言模型分词器不良特性的极其简单的方法。
基于重叠的词汇生成改善了相关语言之间的跨语言迁移。
Canine：预训练用于语言表示的高效无标记化编码器。
ByT5：通过预先训练的字节到字节模型迈向无代币的未来。
跨文化 NLP 的挑战和策略。
知识丰富的提示调整：将知识纳入提示语言器中以进行文本分类。
生成常识推理的知识提示。
元数据塑造：知识增强语言的简单方法年龄模型。
使用大型语言模型进行任意文本样式迁移的秘诀。
利用语言模型提示使用相似性度量：上下文单词任务的案例研究。
使用学习实体进行规划会提示进行抽象总结。
自我诊断和自我消除偏差：减少 NLP 中基于语料库的偏差的提案。
PADA：基于示例的即时学习，用于动态适应未知领域。
一个好的提示值得数百万个参数：视觉语言模型的基于低资源提示的学习。
CLIP 模型是少样本学习者：VQA 和视觉蕴涵的实证研究。
将教学提示重新构建为 GPTk 的语言。
奇妙有序的提示以及在哪里可以找到它们：克服小样本提示顺序敏感性。
Maieutic Prompting：逻辑一致的推理与递归解释。
版权声明：本文内容由互联网用户自发贡献，本站不拥有所有权，不承担相关法律责任。如果发现本站有涉嫌抄袭的内容，欢迎发送邮件 举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。
标签：
相关文章
06-18
06-17
06-18
06-18
06-08
06-18
06-17
06-18
06-17
最新文章
Android旗舰之王的过去与未来
智能手表不被开发、AR眼镜被推迟，Meta的产品经历了一波三折
为什么Cybertruck是特斯拉史上最难造的车？
更新鸿蒙3后，文杰允许你在车里做PPT了
新起亚K3试驾体验：追求“性价比”，韩系汽车仍不想放弃
阿维塔15登场！汽车配备了增程动力，理想情况下会迎来新的对手吗？
马斯克宣布创建 ChatGPT 竞争对手！ OpenAI的CEO给他泼了冷水， GPT-5可能会发生巨大变化
骁龙无处不在，是平台也是生态