首页 > 技术迭代 > 内容

谷歌真是着急了,支持DeepMind! 700亿参数麻雀硬聊GTP

发布于:2024-06-28 编辑:匿名 来源:网络

*转载文章不代表本站观点。

本文来自微信公众号“新智元”(AI_era)作者:新智元编辑:好困埃涅阿斯谷歌的逆袭开始了!近期,微软接二连三地对谷歌进行了严厉打击——刚刚表示ChatGPT将整合到自家搜索引擎Bing中,随后又放出了ChatGPT计划加入Office“全家桶”的重磅炸弹。

微软频频做出危险举动,谷歌自然也不能袖手旁观。

根据DeepMind创始人在《时代》独家专访中透露的信息,谷歌很有可能利用DeepMind此前推出的Sparrow来回应ChatGPT的挑衅!其实,过去谷歌有几个酝酿已久的大模型,比如 LaMDA、Imagen 等,据说已经达到了 SOTA,但从未公开过。

看来谷歌最近真的是被微软逼到了,准备带着自己的“孩子”出来见人了。

面对ChatGPT,谷歌已经有了答案。

谷歌过去的犹豫,为今天的自己埋下了后悔的种子。

虽然ChatGPT非常昂贵,每天烧掉10万美元,但人们永远会记得,2018年12月的那一天,正是OpenAI的ChatGPT写下了大规模语言模型历史上的重要篇章,让世界各地的人们世界充斥着试图与机器人而不是谷歌聊天的服务器。

事实上,在 OpenAI 推出 ChatGPT 之前,谷歌就已经拥有针对对话优化的大规模语言模型,例如 LaMDA 和 Flamingo。

甚至早在 2018 年,谷歌就推出了 Meena,一个拥有 26 亿个参数的端到端神经网络对话模型。

据说它的效果比当时所有其他 SOTA 聊天机器人更加合理和具体。

但到目前为止,谷歌还没有将这些研究成果应用到任何产品中。

据其自身说法,这主要是出于“声誉风险”的考虑。

AI聊天机器人很容易“有毒”——AI训练的数据来自互联网,互联网上往往充满偏见、仇恨和谩骂,因此AI会生成与事实不符的攻击性内容和答案。

资料来源:新智元 12月中旬,谷歌AI负责人杰夫·迪恩在全体会议上表示,尽管谷歌拥有制造AI产品的技术和能力,但他们必须比“小型初创公司”决策“更加保守”。

但现在,被微软逼到墙角的谷歌可能不再“保守”了。

ChatGPT近两个月火遍全网,掀起了公众参与的狂潮。

近日,有消息称微软大笔投资OpenAI数亿美元。

面对持续不断的“ChatGPT能否取代搜索引擎”的讨论以及微软Office软件有望全面升级的事实,谷歌现在必须向外界证明,它可以赶上OpenAI,甚至超越它。

它。

不久前,DeepMind CEO、创始人 Demis Hassabis 在接受《时代》采访时表示,DeepMind 的聊天机器人 Sparrow 可能会在今年晚些时候进入“测试”阶段(内测)。

Hassabis 表示,推迟发布 Sparrow 的原因是 DeepMind 希望让 Sparrow 在基于强化学习的功能方面走得更远,而这正是 ChatGPT 所缺乏的。

来源:互联网。

DeepMind作为谷歌旗下最重要的人工智能研究机构,一直为谷歌提供先进的新技术,并将其融入到消费产品中。

看来谷歌要大动作了。

此前,Meta AI 负责人 Yann LeCun 也表达了对谷歌的支持:“谷歌在使用大型语言模型进行搜索方面比其他公司(包括 OpenAI)拥有更多的经验。

”来源:DeepMind麻雀网,何方神圣?与 ChatGPT 一样,DeepMind 今年 9 月提出的 Sparrow 模型也采用了基于人类反馈的强化学习(RL)框架。

但不同之处在于 Sparrow 可以“谷歌搜索”。

图片来源:互联网 论文地址:图片来源:互联网 当然,为了保证模型的行为安全,也必须对其进行约束。

因此,研究人员为该模型确定了一套最初的简单规则,例如“不要发表仇恨或侮辱性的评论”、“不要假装或冒充真人”等。

然后,用闲聊来诱导麻雀违反了这些规则。

所涉及的对话可用于训练一个单独的“规则模型”,以显示 Sparrow 的行为何时违反了哪些规则。

来源:网络 从结果来看,当检测到潜在的危险行为时,比如当用户询问如何对汽车进行热线连接时,Sparrow 模型会说它已经过训练,不会为任何非法行为提供建议。

资料来源:网络 据参与者称,当被问到事实性问题时,斯派罗给出了基本可信的答案,78%的数据有证据支持。

与基线模型相比,有很大的进步。

谷歌真是着急了,支持DeepMind! 700亿参数麻雀硬聊GTP

DeepMind 能否帮助谷歌摆脱困境? Sparrow 是否有资格参加 ChatGPT?近年来,人工智能研究的重点通常是使用更多的参数来获得更好的性能。

但 DeepMind 极大地缩小了 Chinchilla 语言模型的大小。

作为 Sparrow 的基础,Chinchilla 的参数数量只是 GPT-3 的一小部分——一亿对一亿。

与此同时,DeepMind 将 Chinchilla 的训练数据量增加了一倍,达到 1.3 万亿个代币。

结果是,这个“迷你版”的人工智能模型在几乎所有语音任务中都比它的前辈表现得更好,当然包括它的老对手 GPT-3。

从Chinchilla的成功中不难看出,用大量数据训练的小型人工智能模型也能取得高性能。

此外,小型模型的最大优势在于,它们不仅运行成本更低,而且还可以通过很少的额外数据针对特定用例进行优化。

这样可能会导致用户用得太痛快,烧公司的钱。

好吧,我说的是 OpenAI。

来源:互联网 不过,现在流行的ChatGPT是基于更先进的GPT-3.5。

OpenAI在推出最新版本的GPT-3.5文本-达芬奇-时,列出了自己的优势: 1、更高的生成质量:提供更清晰、更有吸引力、更有说服力的内容。

2. 可以处理更复杂的指令:它的能力可以被更创造性地使用。

3. 更擅长生成较长的内容:能够完成以前难以完成的任务。

那么,现在的问题实际上变成了:Chinchilla 可以用来对抗 GPT-3.5 吗? “真香”一步一步走到了今天。

回顾谷歌近年来的动作布局,管理层恐怕心情复杂。

早在 12 月初,当 ChatGPT 首次爆红时,谷歌内部就有“举报人”感受到了危机。

一些员工在全体员工大会上提出了担忧——ChatGPT的快速崛起可能会导致谷歌失去在AI领域的竞争优势。

谷歌广告团队前负责人 Sridhar Ramaswamy 也表示,如果 ChatGPT 继续如此受欢迎,网民将不再点击带有广告的谷歌链接。

要知道,2019年,广告业务为谷歌赚取了1亿美元,占Alphabet总收入的81%。

当时,谷歌高管并没有意识到ChatGPT的诞生会给他们带来什么样的危机。

谷歌高管当时表示:谷歌不会推出ChatGPT的竞争对手,因为谷歌比OpenAI等初创公司面临更大的“声誉风险”。

此外,“聊天机器人还没有准备好取代搜索引擎。

”但仅仅十天后,高管们的态度就发生了巨大转变。

资料来源:Pichai 指示部分团队改变方向,开发 AI 产品。

CEO皮查伊紧急发布“红色代码”,并参加了多次围绕谷歌AI战略的会议。

他还给出了关键指示:谷歌的多个团队需要集中精力解决ChatGPT的问题。

对公司的搜索引擎业务构成威胁。

谷歌研究、信任与安全以及其他部门的团队已被指示转变方向,开始协助人工智能原型和产品的开发和发布。

事实上,谷歌的担忧是可以理解的。

机器人可以散布谎言、传播仇恨言论,甚至给人一种它是“有意识”的错觉。

OpenAI烧钱为这样的机器人提供试验场的尝试其实是非常大胆的。

到目前为止,OpenAI的测试反响相当不错。

有人找到了前进的方向,谷歌似乎也即将进入这个市场。

陷入“创新者困境”的Decoder记者马蒂亚斯·巴斯蒂安认为,除了对“声誉风险”的担忧之外,更合理的原因是谷歌可能陷入“创新者困境”。

该术语由美国学者克莱顿·克里斯滕森 (Clayton Christensen) 在 2006 年创造,描述的是老牌企业很难采用颠覆传统市场的新技术或商业模式的情况。

这些成熟的企业往往掌握着最重要的资源,并拥有足够的科研能力。

然而,他们现有的客户群和固定的内部流程可能使他们远离突破性创新。

当更小、更灵活的竞争对手进入并占领市场时(是的,这就是 OpenAI),最终可能会导致老牌大公司的消亡。

谷歌的大部分收入来自在线广告。

现在,Google 的核心搜索引擎业务正在增长并盈利(记住上面的 1 亿美元)。

可以说,每一个搜索结果页面都在为谷歌印钱。

新的搜索聊天机器人意味着新的盈利策略。

它能让谷歌像搜索引擎一样盈利吗?谷歌当然可以推出像 ChatGPT 一样成功的聊天机器人,但如果它的利润低于搜索引擎,谷歌就会亏损。

资料来源:在线数字营销专家 Tim Peter 在 Twitter 上指出,微软的优势在于可以通过其他收入来源补贴 Bing 中 ChatGPT 的成本。

ChatGPT的背后是微软这个金融家,微软收入丰厚。

来源,目前还是可以支持ChatGPT这样的烧录。

但谷歌不同。

其几乎所有收入都来自广告。

因此,如果没有广告收入,谷歌搜索引擎的价值将会大幅下降。

更何况,微软财年收入按部门划分就更不用说了,搜索引擎之所以如此盈利,就是因为用户不断点击链接。

在此过程中,谷歌向商家收取巨额广告费。

然而,如果用户可以通过聊天机器人直接获得答案,而无需在列表中搜索,那么搜索引擎的付费商业生态将被直接破坏。

谷歌敢冒毁掉这块千亿美元蛋糕的风险吗?现在,谷歌有了平滑过渡的出路:通过旗下DeepMind子公司推出商业聊天机器人,打造谷歌搜索的竞争对手(也是OpenAI的竞争对手),这样就可以起到对冲的作用。

通过这种方式,谷歌可以安抚股东并回应对聊天机器人将取代搜索引擎的质疑。

这样看来,2020年即将发布的Sparrow beta版本肩负着重大使命。

谷歌真是着急了,支持DeepMind! 700亿参数麻雀硬聊GTP

站长声明

版权声明:本文内容由互联网用户自发贡献,本站不拥有所有权,不承担相关法律责任。如果发现本站有涉嫌抄袭的内容,欢迎发送邮件 举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。

标签:

相关文章

  • 蘑菇网运营公司知到网络完成1.2亿美元A轮融资,腾讯领投,

    蘑菇网运营公司知到网络完成1.2亿美元A轮融资,腾讯领投,

    据投资界2月1日消息,据36氪获悉,蘑菇网运营公司知道网络宣布完成1.2亿美元A轮融资。 本轮融资由腾讯领投,京东、黑马纵横、BAI(贝塔斯曼亚洲投资基金)、易鑫等投资机构和公司也参与投资。 知道网络专注于提供车联网解决方案,近期推出了蘑菇智慧出行系列产品。 为了更好地

    06-17

  • 淘宝公布2023年商品初步名单:军大衣、酱拿铁、熊猫周边入围

    淘宝公布2023年商品初步名单:军大衣、酱拿铁、熊猫周边入围

    又一年即将结束,淘宝如期推出“年度十大商品”评选。 12月11日,淘宝正式发布初选入围名单,30款最具代表性的产品脱颖而出。 据淘宝路边新闻报道,入围名单是根据一年内淘宝搜索热度和销售相关数据,以及网友提名得出的。 在接下来的公示期内,经过网友投票和媒体专家评审,

    06-18

  • AR现阶段只能作为一个概念吗?为什么不把想法转变为实际的呢

    AR现阶段只能作为一个概念吗?为什么不把想法转变为实际的呢

    我听很多AR、VR从业者说HMD将是人类最后的屏幕。 这种发展是历史的必然。 不过,就目前的情况来看,无论是VR/AR/MR的发展都还没有达到非常成熟的状态,而其中VR的发展最为成熟。 作为更具未来感的AR,目前为止还没有出现特别成熟且具有实际用途的产品。 这种情况是技术障碍造

    06-18

  • 谷歌云挖走甲骨文云计算 负责人

    谷歌云挖走甲骨文云计算 负责人

    托马斯库里安(Thomas Kurian)在甲骨文呆了22年,升至总裁职位,拥有很高的权力,现在是谷歌云的首席执行官。 阿密特泽弗瑞(Amit Zavery)在甲骨文呆了24年,升至云平台负责人。 现在他被托马斯库里安挖走,成为新的谷歌云工程师副总裁。 真可谓:朋友重逢,来谷歌云吧。 这

    06-18

  • 闪送完成D1轮6000万美元融资,由五岳资本领投

    闪送完成D1轮6000万美元融资,由五岳资本领投

    据投资界8月28日消息,同城一小时快递品牌闪送今日宣布完成融资D1轮融资1万美元。 本轮融资由五岳资本、海松资本、元兴资本联合领投。 SIG海纳亚洲基金、顺为资本、华联长山兴、顺良投资、赫斯特资本、广源资本也参与了本轮融资。 财务顾问独有的融资。 此次融资后,闪送进一

    06-17

  • 专注空间运营技术,三井宇航完成数千万元Pre-A轮融资

    专注空间运营技术,三井宇航完成数千万元Pre-A轮融资

    投资界(ID:pedaily)3月4日消息,据硬氪报道,三井宇航完成数千万元Pre-A轮融资Pre-A轮融资-A轮融资,由太仓港泓润资本领投。 本轮融资将用于建造测试卫星,并在年底前完成在轨验证。 今年6月成立的“密源航天”是航天器在轨运营服务商“航天驭星”旗下子公司。 三元航天以

    06-17

  • 深耕互联网业务15年,Shopex完成近10亿元D轮融资

    深耕互联网业务15年,Shopex完成近10亿元D轮融资

    据投资界7月27日消息,上海闪派网络科技有限公司(以下简称“闪派网络”) :山派)今日正式宣布,公司完成近10亿元D轮融资。 本轮融资由愉悦资本领投,险峰旗云跟投。   谈及融资用途,尚派全资子公司尚派云栖总经理刘金光表示:“电商仅占社会零售总额的10%左右,而大部

    06-18

  • 映玛基因生物制药完成1亿美元C轮融资,弘晖资本、耀明医疗共同领投

    映玛基因生物制药完成1亿美元C轮融资,弘晖资本、耀明医疗共同领投

    投资界(ID:pedaily)6月1日消息,映玛基因生物制药(以下简称“创想”)公告完成1亿美元C轮融资,由弘晖资本(HighLight Capital)和老股东Panacea Venture共同领投,新投资者包括鼎珮资产管理(VMS)和前海勤智(Triwise)投资者以及其他现有股东中南创投、昆仑资本等参与

    06-18

  • 大数据智能服务商“浮数科技”获近亿元Pre-B轮融资,大泰资本领投

    大数据智能服务商“浮数科技”获近亿元Pre-B轮融资,大泰资本领投

    投资界8月15日消息,大数据智能服务商浮数科技完成近亿元融资元Pre-B轮融资,由达泰资本领投,虹云创投及部分老股东跟投。 创始人及CEO张伟奇表示,本轮融资将主要用于团队建设,并专注于安全多方计算平台(sMPC)的研发。 富数科技成立于2011年,利用自有数据和技术,通过大

    06-18

  • 渠道猎聘发布2023年财报:营收22.8亿元,平台个人注册用户数突破9500万

    渠道猎聘发布2023年财报:营收22.8亿元,平台个人注册用户数突破9500万

    3月22日,渠道猎聘集团(0.HK)发布第四季度及全年业绩绩效报告。 财报显示,公司全年实现营收22.8亿元。 其中,第四季度营收6.3亿元,成功转正。 全年调整后营业利润为人民币1.39亿元。 四季度收入和应收账款双正转,不仅体现了宏观经济的逐步复苏和产业结构的持续优化,也是

    06-18

  • Gartner发布《中国分析平台市场指南》,袋鼠云入选中国分析平台代表供应商|元璟家族

    Gartner发布《中国分析平台市场指南》,袋鼠云入选中国分析平台代表供应商|元璟家族

    元璟投后项目袋鼠云入选国际研究机构Gartner代表供应商。 与大家分享这个好消息!近日,国际权威研究分析机构Gartner发布了《中国分析平台市场指南》(中国分析平台市场指南》)(以下简称《指南》)。 袋鼠云被选为中国分析平台代表厂商,数字孪生可视化低代码构建平台EasyV

    06-18

  • Prophesee完成数千万美元C轮融资,创新工场领投

    Prophesee完成数千万美元C轮融资,创新工场领投

    7月6日消息,全球领先的神经拟态视觉解决方案公司Prophesee宣布完成数千万美元C轮融资。 此次融资由创新工场领投,小米、上海普金跟投,数家老股东追加投资。 Pronovis总部位于法国巴黎,此前曾获得北美、欧洲和日本知名投资者的支持。 本轮中国顶级行业投资人的参与,将形成

    06-18