推理?别闹了!现在的 AI 仍然连小学数学题都搞不定!

在一篇名为《GSM-Symbolic:理解大型语言模型数学推理的局限性》的论文中,这六位研究人员使用了一个标准化的数据集,里面有超过8000道小学级别的数学题,通常用来测试现代LLMs的推理能力。他们创新性地修改了测试数据,动态替换了一些名字和数字。例如,原本是索菲为侄子买31块积木的问题,可能改成比尔为兄弟买19块积木的...

给小学数学题加句废话,OpenAI o1就翻车了,苹果论文质疑AI推理

为了解决这些问题，需要一个更多样化和适应性强的评估框架——一个能够生成多样化的问题变体并调整复杂性水平以更好地探索LLM的鲁棒性和推理能力的框架。这将有助于更深入地了解这些模型在数学推理任务中的优势和劣势。作者做出了以下贡献：为了解决这些问题，AI社区需要构建一个更加多样化且适应性更强的评估框架...

苹果研究人员质疑 AI 的推理能力:简单数学问题稍作改动就会答错

IT之家注意到,研究人员通过对数学问题的微小改动,例如添加无关的信息,来测试LLM的推理能力。结果发现,这些模型在面对这样的变化时,其表现急剧下降。例如,当研究人员给出一个简单的数学问题:“奥利弗星期五摘了44个奇异果,星期六摘了58个奇异果。星期日,他摘的奇异果是星期五的两倍。奥利弗一共摘了多少...

一句废话就把OpenAI o1干崩了?大模型的推理能力还真挺脆弱的。

就是通过魔改GSM8K,来向小学数学问题添加一些无关紧要的一个信息,来测试模型的推理成功率。然后就会发现,大模型推理的成功率,直接大幅下降。比如原本的问题是:-鲜虾包去农贸市场买蔬菜,他买了4公斤西红柿和6公斤土豆。西红柿每公斤6元,土豆每公斤3元。请问鲜虾包在西红柿上比土豆多花了多少钱?很简单,对...

这道简单的推理题,据说80%的人都答不对

这是著名的四张卡片问题,也叫“沃森选择任务”,最早由英国认知心理学家彼得·沃森(PeterCathcartWason,1924～2003)于1966年发表,现已成为心理学中研究推理能力的经典问题之一。这道题看起来很简单,凭直觉能回答正确的概率却很低。为了不凭直觉而是用逻辑来分析这个问题,我们需要先了解什么叫“逆否命题”。举例说...

当AI遇上高考数学题,4个大模型“考生”“成绩单”出炉

在大模型这一新事物面世初期，不少网友用开源的大模型去测试一些简单数学题，发现很多答案并不准确(www.e993.com)2024年11月22日。与自然语言理解不同，大型语言模型在解决算术推理任务时性能欠佳。九章大模型是此次四位“考生”中唯一一个、也是国内首个专为数学打造的大模型。2023年5月，好未来公布正在进行自研数学大模型的研发，是以解题和讲题...

做完今年中考数学卷,来看看怎么拿下最后一题?

再次强调,小学阶段的几何知识很简单,但不代表不重要。尤其是简单几何的概念和特征,他们是初高中几何学习的地基,所有高阶的几何推理都是从一个点、一条线、一个面开始的。如果孩子只是记住了知识点,而没有去理解,遇到新题型,比如今年的中高考题目,自然觉得“很难”。

林达华:国内大模型与GPT-4的差距是“高考数学最后一题”

林达华介绍,推理能力可分为常识推理、演绎推理、归纳推理三类,其中归纳推理是GPT-4优势最明显的一种能力。“符号‘->’代表一个简单的数学运算。962-85->881;242-495->-249;355-890->?”这道数学题考的就是归纳推理能力。目前,国内大模型做中考数学、高考数学最后一题时,如果遇到没训练过的题型,正确率就很...

严重缺乏逻辑思维的孩子,大都有四个表现,小学家长尤其要警惕

说的简单点,所谓逻辑思维就像我们大脑中的“导航仪”,它可以帮助我们按照一定的路径去理解和分析问题,从而得出准确、合理的结论。比如,你的面前有个果盘,果盘里放着苹果、香蕉和葡萄三种水果,现在你想找到葡萄,就需要调动大脑的逻辑思维能力。首先,明确目标:找到葡萄;其次,观察推理果盘中的水果,红色的是苹果,黄色...

儿子升入重点中学后回头看,小学培养娃“自学能力”太重要了

小学低年级时,儿子不满足校内的数学知识,喜欢用自己的方法解决数学问题,经常抱着《小学数学公式定律手册》自学数学问题,了解了许多公式定律。2.入门巧算,自主总结规律三年级时,数学接触到很多巧算题。借助各种方法,会让计算变得更加简便。不过要想掌握巧算的方法,加法的交换律、结合律,乘法的交换律、结合律、分...