CoT能让模型推理能力无上限?田渊栋等反对:两层MLP还能模拟全世界呢
针对「两层MLP」这个比喻中的问题,专注于生物学领域的AI研究实验室EvolutionaryScale的联合创始人ZemingLin提出了自己的想法:「我认为我们需要为机器学习模型构建类似乔姆斯基层次结构的框架。比如,是否存在适用于机器学习模型的NP、P、O(n^2)等概念,并明确Transformer或Mamba在这个层次结构中属于...
湃书单|澎湃新闻编辑们在读的17本书:病非如此
多年前,我曾经在网上看到过布莱恩·麦基与一系列哲学家对话的视频,其中不乏以赛亚·伯林、查尔斯·泰勒、伯纳德·威廉斯、乔姆斯基、W.V.蒯因等哲学大家。更吸引我的是,节目中主持人和嘉宾并非泛泛而谈,而是针对特定的哲学主题进行深入的探讨。在本书的序言中,麦基也谈到了制作节目的初衷:“当时BBC第二频道的总监邀...
语言≠思维,大模型学不了推理:一篇Nature让AI社区炸锅了
这种方法依赖于观察大脑某部分受损时个体行为的变化,从而推测不同大脑区域的功能和行为之间的联系。有证据表明——有许多个体在语言能力上有严重的障碍,影响到词汇和句法能力,但他们仍然表现出在许多思考形式上的完整能力:他们可以解决数学问题,进行执行规划和遵循非言语指令,参与多种形式的推理,包括形式逻辑推理、关...
李宇明:语言研究的“植树人”
不少学者都积极参加语言能力研究,使之成为当前中国语言学的一大亮色。2008年汶川地震后,陈章太、李宇明等学者提出了“灾难语言学”的课题,并在李宇明主编的《中国语言生活状况报告(2008)》中编入了《地震灾后心理援助用语》一文;2010年玉树地震发生后,应急语言服务的重要性更加凸显,《中国语言生活状况报告(2011)...
面向大语言模型的知识实践
语言学家诺姆??乔姆斯基将ChatGPT称作“高科技剽窃”[23]。话虽尖刻,但按照我们关于“剽窃”的定义,大语言模型的知识的的确确全部来自于对人类文本的预训练——这就意味着,即便通过预测下一个词的方式,它能够做到源源不断地生成“全新”的文本,但却是已有文本语料的重新排列组合。换言之,大语言模型无法原创性...
国内认知语言学工具书《认知语言学关键概念》近期出版
认知语言学主要通过语言来研究人类的心智,理解人类思维,同时研究语言、心智与人类自身经验、文化之间的关系(www.e993.com)2024年9月21日。其主要研究目的有二:研究范畴化、隐喻、转喻、注意、记忆、意象这样的认知机制如何在语言行为中使用;发展出具有心理现实性的语言模型,以解释所有语言现象。
ACL 2024奖项:华科大破译甲骨文最佳论文之一、GloVe时间检验奖
论文简介:乔姆斯基等人认为:对于人类可能或不可能学会的语言,大型语言模型(LLM)的学习能力是一样的。然而,几乎没有公开的实验证据来支持这种说法。该研究开发了一组具有不同复杂性的合成语言,每一种都是通过使用不自然的词序和语法规则系统地改变英语数据而设计的,旨在合成人类不可能学会的语言。
ACL 2024 大奖揭晓!全华人团队用 AI 破解 3000 年前甲骨文密码
乔姆斯基等人曾直言道,LLM在学习人类可能和不可能学习的语言方面具有同等能力。然而,很少有公开发表的实验证据,支撑这种说法。为此,研究人员开发了一组复杂程度不同的合成「不可能语言」,每种语言都是通过系统地改变英语数据,并用非自然词序和语法规则设计而成。
身为你自己是一种怎样的感觉?有关心智的研究史
乔姆斯基认为决定语言发展的不是模仿或强化,而是与生俱来的生物程序,这种程序不因文化而异。语言是心智架构的产物,而不是强化的结果,乔姆斯基的这个观点让心理学家开始重新审视将语言和其他复杂行为(比如问题解决和推理)归于操作性条件作用的主张。不少人开始意识到要理解复杂的认知现象,不仅要测量可观察的行为,还要考...
人文视野下的认知域及其国家安全战略价值
只有人类能够在语言表述和真假判断之间建立关系,ChatGPT之类的人工智能并没有这种能力。在乔姆斯基看来,人工智能是没有认知域的,它只有一个基本的生成语法的体系,而这个体系并不构成专属于人类的认知域体系。这是因为,人工智能虽然能够创造出新的语句,如“地球是平的”,但在人类的判断中,这个语句不可能成为真正的知识...