首页 > 科技未来 > 内容

ChatGPT已通过顶尖大学的考试,除了对抗AI,我们更应该做的是改变考试题目

发布于:2024-06-21 编辑:匿名 来源:网络

??当法学院学生尝试新事物玩ChatGPT时,他们可能没想到它会转身和他们一起参加同样的考试。

“ 同学”。

在刚刚过去的一月份,明尼苏达大学法学院的 Jon Choi 教授 和宾夕法尼亚大学沃顿商学院的 Christian Terwiesch 教授 分别要求 ChatGPT 为他们的课程“做”期末考试题。

结果,ChatGPT真的通过了!这是否意味着让ChatGPT进化得更久一点,我们就不再需要人类律师和管理者了?或者这是对教育者的警钟,让他停止教导人类像人工智能一样?通过考验的背后:老师“放手”,排名全班垫底。

他选修的两个专业中,ChatGPT在法学院的成绩比商学院的成绩要差。

前者的平均成绩为C+,后者则可以达到B-到B的成绩。

具体来说,ChatGPT在沃顿完成的是MBA(工商管理硕士)“运营管理”科目的测试题,每道题都需要一个“推演过程”。

测试过程中,Terwiesch 教授 将原始测试问题输入 ChatGPT,并对 ChatGPT 生成的答案进行评分。

总的来说,ChatGPT 在回答基本分析问题时表现非常好;数学不太好,可能会突然算错一道小学水平的算术;而对于相对复杂的分析题,ChatGPT基本没什么用处。

例如,第一题测试对“管理瓶颈”概念的理解,简单比较“生产流程”中哪一步效率最低,从而找到“瓶颈”。

教授给了这个问题全A+。

然而,当试题中的“生产流程”变得更加复杂,需要加工的原材料不只一种,且涉及的设备各不相同且重叠时,ChatGPT就不能再被认为是“管理瓶颈”。

”对于这道题,虽然ChatGPT的推演过程是错误的,但却“完美绕过”了错误的推论,命中了答案。

在计算“接收站”的效率时,ChatGPT 的结果是“桶/小时”。

虽然这个数字是错误的,但从这个数字来看,它确实是分析过程中效率最低的环节。

谁能想到ChatGPT“不相信自己”,并没有选择这个环节作为“瓶颈”。

相反,它选择了计算效率为“桶/小时”的“干燥器”环节作为“瓶颈”——选择正确答案。

不过,Terwiesch·教授虽然最终给ChatGPT打了B级,但他也有点“昏昏欲睡”。

当ChatGPT的答案出现错误时,Terwiesch会给ChatGPT提供有针对性的提醒,然后让它再次输出答案,并用这个“优化”的结果来评分。

至于法学院考试,ChatGPT 为宪法法、雇员福利法、税法和侵权法这四门课程创建了期末考试题。

主导测试的Jon Choi 教授表示,在“盲改”的情况下,ChatGPT通过了全部四科,但成绩基本处于全班垫底。

虽然ChatGPT的简答题比选择题要好,但简答题的答案质量极不稳定——有时答案可能比一般学生好(大多是口述法律条文和背诵案例),但一旦他们做出错误(通常是要求学生运用具体理论分析案例的题目),分数常常“错到新低”:ChatGPT 在法学院考试的最基本问题上表现不佳,例如识别潜在的法律问题和in-深入案例分析和法律条文运用,ChatGPT“不求理解,只求背书”的答题方式却能以低分通过专业考试,这在一定程度上说明了考试题目仍然过于依赖“死记硬背”的表现。

无法取代律师和管理者,但是,如果人类学生是同等水平,通过考试,甚至毕业后进入执业,那不是更成问题吗? ChatGPT能否强行改变被诟病多年的“背书就够了”的考试?在ChatGPT惊艳亮相之前,卡内基梅隆大学的教授·丹尼·奥本海默就已经发问:在谷歌搜索时代,为什么大学考试只注重学生对事实的重述?奥本海默指出,虽然有些教育者会反驳说,他们在课堂上解释事实信息时,也会分析这些信息的含义、论据和应用,但到了试卷上,立刻就变成了“背书”:很多课程都是建立在这样的前提上的:学生通过观察老师的榜样来分析、扩展和应用事实,学生自然会发展出这套技能——这是一个非常值得怀疑的假设。

因此,奥本海默建议课程设置应该直接反映教育者希望学生最终学到的技能。

还需要融入新技术,例如“计算机辅助文学欣赏”和“如何与不同意你的人进行文明沟通”。

考试可以包含事实信息,但应注重学生的分析和应用能力。

此外,要求学生“排练”他们将来会遇到的场景也是练习技能的直接方式,例如询问学生研究气候变化,为公众策划与气候相关的展览。

现在到了ChatGPT时代,这种改变自然更加迫切,因为它比搜索引擎更加高效,同时也更加混乱。

除了节省学生翻阅搜索结果页面的时间外,ChatGPT 还可以生成具有足够语言结构能力的流畅段落,即使事实准确性非常值得怀疑。

有趣的是,ChatGPT 也像一面镜子。

一方面,它让我想起应试教育中的作文和简答题,总是显得像是无休无止的“模仿”,填充着一个标准范式,就像ChatGPT一样。

另一方面,通过“吃”大数据和通过真实的人类反馈进行“培训/教育”,ChatGPT的“严重废话”内容也与我们遇到的日常生活非常相似。

以至于沃顿商学院的Terwiesch·教授大喜过望,觉得ChatGPT可以为未来的管理者带来极好的学习材料——商界已经充满了严肃的废话,就像ChatGPT所说的那样。

,商学院的学生可以用它来做鉴别练习!你我都知道商学院的学生并不是唯一需要学习这项技能的人。

然而,自搜索引擎普及以来,美国高等教育界一直存在关于改革的讨论,但时至今日进展仍然有限。

ChatGPT的诞生能否迫使它跑得更快?我们只能继续观察。

人性,像人一样,我一直认为,每当人类试图“重新发明”某样东西时,总是暴露出我们对事物理解的局限性,同时也帮助我们了解自己。

当试图在太空“重建”食物时,研究人员发现食物确实不能仅仅减少到“营养充足”。

维持人在空间中的身心健康,色、香、味、声都影响感知。

环境一定要小心,一起吃饭的人也很重要。

当我们拥有一个可以“流利地说人类语言”的ChatGPT时,人们也开始发现人类语言不仅仅是“文字”。

一个仅接受语言材料训练的系统永远无法接近人类智能,即使它现在就开始训练并训练到宇宙毁灭。

研究人工智能哲学的雅各布·布朗宁(Jacob Browning)和图灵奖得主Yann Le Cun在一篇联合文章中指出。

他们认为,文本作为一种高度浓缩的抽象符号,能够被人类理解,是因为我们拥有丰富的非语言共识和个人经验。

这也意味着言语总是容易产生误解和歧义。

ChatGPT已通过顶尖大学的考试,除了对抗AI,我们更应该做的是改变考试题目

语言是我们交流的工具,但教育者对学生的理解和评价不应该局限于论文。

使用先进的大规模语言模型表明我们仅从语言中获得的信息是多么有限。

ChatGPT已通过顶尖大学的考试,除了对抗AI,我们更应该做的是改变考试题目

站长声明

版权声明:本文内容由互联网用户自发贡献,本站不拥有所有权,不承担相关法律责任。如果发现本站有涉嫌抄袭的内容,欢迎发送邮件 举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。

标签:

相关文章

  • 一家号称“真相帝”的公司,一个DEMO就能估值2亿

    一家号称“真相帝”的公司,一个DEMO就能估值2亿

    今天刀哥要说的公司,相当具有颠覆性。 他们做的商业调查大数据产品经常刷爆朋友圈。 很多企业在注册商标的时候,都想把能想到的名字都注册一遍。 比如,网友发现老干妈一次性注册了老干娘、神老马、老阿姨等商标……抢注各种商标也是如此。 毁三观,比如有一家历史上名字最长

    06-17

  • iPad mini将为谁“复活”?

    iPad mini将为谁“复活”?

    “即使只是换处理器,也不必要求全面屏。 ”作为多年iPad mini老用户的小志如实说道。 ▲ iPad mini 第五代(年份型号) 其实他用的是“最新”的 iPad mini 第五代(以下简称“iPad mini 5”),但为什么叫“老款”呢?仅仅因为iPad mini 5是2017年发布的,现在已经快三年了。

    06-21

  • MemVerge获1900万美元战略投资,推动数据中心“大内存计算”趋势

    MemVerge获1900万美元战略投资,推动数据中心“大内存计算”趋势

    雷锋网5月12日报道,MemVerge今日宣布完成英特尔等战略投资者1万美元融资、思科、NetApp 和 SK 海力士。 投资者方面,该公司此前的投资者高榕 Capital、Glory Ventures、Jerusalem Venture Partners、LDV、Lightspeed Venture Partners和Northern Light Venture Partners也参

    06-18

  • 全场景互动CEM服务商“小易数智”完成数千万元天使轮融资

    全场景互动CEM服务商“小易数智”完成数千万元天使轮融资

    据投资界(ID:pedaily)7月13日消息,近日,全场景互动CEM服务提供商“小医数智”宣布完成数千万元天使轮融资,由深创投领投,国宏嘉信资本跟投,青通资本跟投。 小蚁数智创始人&CEO宋博表示,本轮融资将主要用于SaaS产研团队的扩充、武汉产研基地的建设以及北京本地市场和

    06-18

  • 《知行合一》已完成近千万元天使轮融资

    《知行合一》已完成近千万元天使轮融资

    《知行合一》近日完成近千万元天使轮融资。 本轮融资由天使投资人黄建个人投资完成。 本次融资所筹资金将主要用于人才储备和补充流动资金。 智行合一成立于2019年10月,是一家总部位于广东珠海、专注于为失能、半失能老年人提供医养结合的服务型企业。 服务范围涵盖老年慢性

    06-17

  • 汽车智能科技公司“美嘉科技”完成超亿美元融资

    汽车智能科技公司“美嘉科技”完成超亿美元融资

    36氪独家获悉,汽车智能科技公司“美嘉科技”近期完成超亿美元融资,领投由超越资本。 湾区共同家园发展基金及南山资本、红点中国、山航资本等老股东也参与投资。 泰合之都充当专属财务顾问。 美嘉科技CEO庄莉透露,本轮融资发生得很快。 该项目于去年12月底启动,今年3月竣工

    06-18

  • 外资资管巨头蜂拥而至

    外资资管巨头蜂拥而至

    10月以来,上海迎来了包括负责人在内的多家知名外资金融机构的到访。 10月19日,上海市地方金融监管局局长周小全会见摩根士丹利投资管理亚洲区首席运营官、摩根士丹利基金管理(中国)有限公司首席运营官托德科尔特曼一行。 10月16日,周小全会见法国农业信贷银行(中国)有限

    06-17

  • 外媒:TikTok讨论不出售美国业务的解决方案

    外媒:TikTok讨论不出售美国业务的解决方案

    当地时间9月10日,据《华尔街日报》报道,TikTok母公司字节跳动正在与美国政府讨论可能的解决方案,以避免TikTok广受欢迎的应用程序短视频正在出售其全部美国业务。 自从中国政府采取措施加大TikTok向微软等美国科技公司巨头出售业务的难度以来,围绕TikTok不出售的讨论就变得

    06-18

  • 集成电路芯片开发商“中科瀚天下”获3000万元C轮融资

    集成电路芯片开发商“中科瀚天下”获3000万元C轮融资

    据投资界11月19日消息,集成电路芯片开发商“中科瀚天下”于今年8月完成万元C轮融资,同心企业、浑璞投资、南京科芯为新股东。 据了解,中科瀚天下成立于2007年,是一家集成电路芯片开发商。 主要从事射频/模拟集成电路和SoC系统集成电路的开发,以及应用解决方案的研究、开

    06-17

  • “易小象”完成Pre-A轮融资,南开大学创新基金注资

    “易小象”完成Pre-A轮融资,南开大学创新基金注资

    据6月10日消息,在线少儿象棋教育公司“易小象”近日完成Pre-A轮融资,获南开大学创新基金注资。 本轮融资之前,公司还获得了北塔资本的天使轮投资。 本轮资金将主要用于产品技术开发、人才引进和教学服务质量提升。 “玩小象”成立于2007年,专注于4-12岁儿童的象棋启蒙教育

    06-17

  • 20亿元专精特新(金华)母基金在金华启动

    20亿元专精特新(金华)母基金在金华启动

    据投资界(ID:pedaily)消息,3月28日下午,浙江省专精特新(金华)基金基金协议签字仪式在金华举行。 继浙江省科技创新专项基金(二期)之后,又一省级“四”专项资金落户金华。 浙江省专精特新(金华)母基金注册在金华市,总规模20亿元。 由浙江省产业基金、金华市产业基

    06-17

  • 天下无贼反信息诈骗联盟升维  大数据构筑新防御体系

    天下无贼反信息诈骗联盟升维 大数据构筑新防御体系

    天下无贼反信息诈骗联盟 升维大数据构筑新防御体系 2020年1月14日,全国首个反信息诈骗联盟——天下无贼反信息诈骗联盟召开新闻发布会,庆祝其成立深圳周年庆。 大会以“大数据天网,新系统防御”为主题,发布了《反信息诈骗大数据报告》(以下简称《报告》),首次对欺诈产业

    06-18