媲美OpenAI事实性基准,这个中文评测集让o1-preview刚刚及格

例如现在大家广泛使用的知识评测集还是CommonSenseQA、CMMLU和C-Eval等选择题形式的评测集。为了进一步同步推进中文社区对模型事实正确性的研究,淘天集团算法技术-未来生活实验室团队提出了ChineseSimpleQA,这是第一个系统性地全面评估模型回答简短事实性问题能力的中文评测集,可以全面探测模型在各个领域的知识...

Nature:AI也许可以拥有常识,但不是现在

从本质上讲,常识需要事实知识,也需要利用知识进行推理的能力。仅仅是记住大量事实是不够的,从现有信息中推断出新信息同样重要,这样才能在新的或不确定的情况下做出决策。20世纪80年代时,研究人员开始进行早期尝试,希望赋予机器以常识和决策能力,主要的手段是创建结构化的知识数据库,例如CYC、ConceptNet等项目。CYC这...

在移动时代重新建立知识观

第一个策略是不要一味强调方法性知识的学习,掌握广博的事实性知识依然非常重要。打个比方,我们可以把一个人掌握的事实性知识看作是一块块砖石,把方法性知识看作是水泥,那么学习的过程就像是用砖石和水泥建起一面知识的墙,衡量一个人的学识水平和认知能力,看的就是这个人构建的这面墙有多高大,有多牢固。时代...

Nature:AI 能拥有常识吗?找出答案将是实现机器智能的关键

CYC可以表示关系知识,例如,不仅可以表示狗“是”动物(分类),还可以表示狗“需要”食物。它还尝试使用“是”等符号表示法来整合与上下文相关的知识,例如,田径运动中的“跑步”与商务会议中的“跑步”含义不同。因此,CYC使机器能够区分事实知识(例如“美国第一任总统是乔治华盛顿”)和常识性知识(例如“椅子是用来...

...模型:代码编写、游戏制作等能力“惊艳”,事实性知识却“翻了车”

不过，新模型也并非毫无缺点，在事实性知识测试就“翻车”了。传说中的“草莓”来了当地时间9月12日，OpenAI发布了一款名为o1的新模型，这是其计划中一系列“推理”模型中的第一个版本，也是此前业界盛传已久的“草莓”模型。图片来源：X平台对于OpenAI来说，o1代表着它朝着类人AI的目标又迈出了一步。

从知识的建构到事实的建构

在理性论和反映论者看来,知识的社会建构这种想法已经足够令人头疼,尽管它并不必然导致反理性或非理性,也不必然导致反实在论(例如,布鲁尔就认为他的主张与唯物主义并不冲突)(www.e993.com)2024年11月22日。然而,拉图尔的网络建构理论,所强调的不是一般性的知识建构,而是科学活动中的事实建构,也即科学事实是如何被(社会地)建构起来的。科学事实...

15个颠覆认知的事实,每个知识点都不好“消化”啊

于是网友们，就回答出了各种匪夷所思、颠覆认知的事实。如果你做了一个腹部手术，医生翻出你的肠子后，通常不会将其摆放好，而是比较随意的把肠子放进你的肚子里，然后让其自己归位。有位网友说他经历过，恢复期内他经常能感觉到自己的肠子在蠕动。植物之间，是可以互相交流的。科学家曾经发现有一种植物，在被...

需以证据事实和可靠经验知识为基础

情理推断是以经验知识作为大前提,以证据事实作为小前提,它的推论需要建立在证据事实的基础之上。经验可以帮助我们认识事实,但不能代替事实,作为推理小前提的证据事实不可或缺。情理推断是从已知事实推论未知事实,推理过程必须保持论证过程的完整性,尤其是不能缺少作为证据事实的小前提。证据材料提供了情理推断的基础事实,...

OpenAI 翁荔提出大模型「外在幻觉」:万字 blog 详解抵抗办法、产...

较高的NE错误率和较低的蕴含比率表明事实性较高,研究发现这两个指标都与人类注释相关,较大模型在此基准上表现更佳。此外,Min等人2023提出了FActScore,将长文生成分解成多个原子事实,并根据维基百科等知识库单独验证每个事实。然后可以测量每个模型生成的知识来源支持的句子的比率(精度),FActScore是一组提示...

34页,超200篇文献,浙江大学最新综述,揭秘大语言模型中知识的利用...

Geva等人[6]描述了模型编码事实知识的三个步骤:多层感知机丰富主语的信息,关系信息传播到最后一个token,后续层的注意力头提取宾语信息。理解和应用知识理解和应用侧重于展示对已记忆知识的理解,并在新场景下解决问题,如推理和规划。从模块化区域的角度来看,知识利用会重复使用一些区域。一般来说,基础知识往往存储...