飞轮公司“Ctrlbox”获数千万元Pre-A轮投资，君翼注资
06-17
微软研究院在IJCAI奖励第一天的教程中谈到了自己将深度学习和深度神经网络应用于语义理解的一些心得和心得。
作为小娜、小冰的开发者，微软在自然预测的语义理解上无疑是很有造诣的。
而其早在1月份就开源其深度学习开发工具包CNTK的举动也表明微软确实想推动人工智能的发展。
这次，让我们通过Tutorial中PPT讲座的概述部分，来看看微软在他们最擅长的语义识别领域会与我们分享什么样的经验。
我们将PPT的文字翻译直接放在幻灯片中。
有兴趣的读者可以点击大图查看，不过你也可以直接查看我们在每张图片后面写的注释，这也可以帮助你理解微软的含义。
微软首先介绍了深度神经网络的简史。
如上图所示，它经历了技术爆发点、幻灭低谷、生产平台期、期望膨胀顶峰等几个阶段。
终于迎来了新的高潮。
2018年，深度学习成为麻省理工学院评选的年度十大科技突破之一。
从今年年初到今年，深度学习的学术研究也出现了爆发式增长。
它在NIPS会议上密集爆发。
典型证据是，主会场的相关研究参与者数量大幅增加，相关主题的指导性报告增加了3%以上。
《纽约时报》2017年的报道称“科学家在深度学习中看到了希望”被视为深度学习兴起的标志之一。
DNN 是一个全连接的深度神经网络。
简单地说，首先训练每个包含隐藏层的生产力模型，然后将它们组合成深度信念网络，然后添加输出并使用反向传播来训练 DNN 网络。
上图展示了微软基于深度学习的语义识别在各个领域的应用。
微软今天要讲的指南的重点并不是集中在语音识别或图像识别上，而是集中在语音文本的处理和理解上。
它分为5部分。
上图是一个需求分类问题的例子，比如输入一个问题： 丹佛 是市中心的一家寿司店，但是餐馆、酒店、夜店或者航班呢？这就需要搜索引擎进行更详细的分类。
上图展示了单神经元模型的原理。
当输入一个X值时，该函数最终会通过逻辑回归对其进行分类，决定是否标记Y，并与预先准备的标签进行检查。
这样就完成了学习过程。
上图是单神经元模型，将数值转换为概率，然后将概率转换为非线性激活函数，然后进行逻辑回归。
上图中，微软给出了训练模型的思路。
由于它是一个仅由一个神经元组成的神经网络，因此方法比较简单。
待训练的数据集是由二维数组组成的对的集合。
训练参数的过程就是不断替换w来最小化损失函数。
具体方法是使用随机梯度下降来更新所有训练样本，直到函数收敛。
用单个神经元的网络来解决实际问题基本上是不可能的。
上图是一个多层神经网络的流程图，实际上和目前大多数神经网络的结构类似。
如果我们忽略下面的结构，只看输入层、顶层隐藏层和输出层，我们会发现这正是单神经元神经网络的架构。
包括下面的其他隐藏层之后，就是一个多层神经元结构。
将原始数据（词向量）输入到隐藏层，通过参数w的投影生成新的向量。
这个过程称为特征生成。
。
可见，标准机器学习流程与深度学习最大的区别在于特征训练的方法。
传统的特征训练需要开发者手动提取特征，比较累人。
深度学习可以自动从训练数据中学习特征。
看起来灵活多了，但代价是函数优化和参数选择的工作量会更重。
为什么要使用多个隐藏层？毫无疑问，添加隐藏层将使算法表现更好。
特征的学习和转换也更加灵活。
类似于深度学习用于图像识别时像素→边缘→纹理→主题→局部→整体对象的过程。
当深度学习用于文本分析时，也遵循字母→单词→短语→从句→句子→整个故事的过程。
训练层越多，这些特征的描述就越精确。
最终的提取效果会更好。
DNN有多种不同的表现形式，每种表现形式都有自己的应用场景和优势。
这里微软将其分为三大类和六个小类： 分类任务——从Y到X进行分类。
主要应用：多层感知器、卷积神经网络。
评分任务 - 通过计算 X 和 Y 的加权和进行评分。
主要应用：连体神经网络、深度语义相似度模型 文本生成任务：根据 DSSM 的值生成 Y）。
该模型通过使用由 X 和 Y 组成的文本流来计算语义相似度。
该方法是使用深度神经网络首先在潜在语义空间中建立x和y两个特征向量。
然后计算特征向量之间的余弦相似度。
上面两张图是具体的示意图。
展示了计算相似语义空间的方法，最后一张图给出了基于该方法的整个卷积DSSM网络的示意图和原理说明。
摘要：深度学习一度被认为不适合语义理解。
主要是因为单词之间的相似程度与其含义的相似程度几乎没有关系。
词汇的出现在一定程度上解决了这个问题。
现在，深度学习语义理解的障碍已经基本消失，微软这次提供的思路也是一个很好的借鉴。
我相信应用深度学习的语义理解程序的性能将会得到很大的提高。
雷锋网将持续关注IJCAI大会的最新消息，为您带来AI研究领域的最新动态。
欢迎继续关注。
版权声明：本文内容由互联网用户自发贡献，本站不拥有所有权，不承担相关法律责任。如果发现本站有涉嫌抄袭的内容，欢迎发送邮件 举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。
标签：
相关文章
06-18
06-17
06-17
06-18
最新文章
Android旗舰之王的过去与未来
智能手表不被开发、AR眼镜被推迟，Meta的产品经历了一波三折
为什么Cybertruck是特斯拉史上最难造的车？
更新鸿蒙3后，文杰允许你在车里做PPT了
新起亚K3试驾体验：追求“性价比”，韩系汽车仍不想放弃
阿维塔15登场！汽车配备了增程动力，理想情况下会迎来新的对手吗？
马斯克宣布创建 ChatGPT 竞争对手！ OpenAI的CEO给他泼了冷水， GPT-5可能会发生巨大变化
骁龙无处不在，是平台也是生态