做出最好大模型的 CEO,不认为 Scaling Law 撞墙了

有时候模型的特性、不同模型之间的差异很难通过基准测试体现出来,因为这些特性不完全是能力本身,也可能是「模型更礼貌、更直率、反应敏捷、主动提问」等。RLHF更像是填补了搭建人类和模型之间沟通的鸿沟,就像我们身边总会有一些聪明但不善于表达的人一样,一个聪明的系统如果无法有效沟通也是不行的,RLHF就是在填...

不让视觉语言模型「盲猜」,性能竟直接提升一倍?

2、当前开源模型的表现有限:研究团队对53个视觉语言模型进行了测试,结果显示,大多数开源模型(如BLIP-3、Cambrian-1、LLaVA-OneVision、Llama3.2-Vision、Molmo和Qwen2-VL)的得分仅比随机水平高10%-20%。即使是经过视觉微调的GPT-4o,其表现仍比人类低50%。这表明,目前的视觉语言模型在自然图像的视...

RAPTOR:多模型融合+层次结构 = 检索性能提升20%,结果还更稳健

布尔模型是最早也是最简单的信息检索模型之一,它使用AND、OR和NOT等逻辑运算符来处理查询。在这个模型中,文档和查询都被视为术语集合,这允许基于精确匹配进行简单的检索。例如:AND检索包含所有指定术语的文档。OR检索包含任何指定术语的文档。NOT排除包含某些术语的文档。尽管它为用户提供了对搜索结果的清晰性和...

上交大o1复现新突破:蒸馏超越原版,警示AI研发“捷径陷阱”

"项目负责人表示，知识蒸馏虽然提供了快速提升模型性能的捷径，但也带来了三个层面的隐忧：1.技术层面：模型性能受限于教师模型，难以实现真正的突破创新2.研究方向：过度依赖蒸馏可能导致核心技术研发投入不足3.人才培养：简单的模型复制和优化可能削弱研究人员的基础创新能力为推动行业良性发展，团队创新性地提出了...

人工智能价值对齐的哲学思考|价值嵌入与价值对齐:人类控制论的幻觉

目前大多数科创企业所采取的通过强调匹配不同算法特征及其治理需求的分类治理框架来实现价值对齐的方式,体现为应用环境通过对输入变量赋值进而对输出结果产生影响,如对生成式人工智能进行预训练后的模型微调就属于此类。这种思路由设计者将被预设为普遍性的价值原则嵌入智能自治系统中以形成特定的概念空间,然后根据场景调用...

最新!红杉资本2024 AI 年度报告(全文):AI的下一阶段是什么?

随着大规模语言模型(LLM)市场趋于稳定,下一个竞争前沿已经开始显现(www.e993.com)2024年11月26日。人们的注意力正逐渐转向推理层的开发和扩展,这一层以“系统2”思维为主导。受到AlphaGo等模型的启发,这个层面旨在让AI系统在推理过程中进行深思熟虑的推理和问题解决,而不仅仅是简单的模式匹配。同时,新的认知架构和用户界面也在改变这些推理...

ChatGPT 负责人:GPT-4 越来越聪明是因为 post-traning,大模型短期...

更强的模型会解锁哪些新能力?DwarkeshPatel:从宏观角度来看,pre-training和post-training的主要任务分别是什么?二者的主要区别是?JohnSchulman:pre-training阶段主要是让模型学习互联网上的网页、代码等等各种内容,并且让模型做到能模仿这些内容,模型在预训练后已经能生成很仿真的网页。同时这个模型还需要做最...

OpenAI 翁荔提出大模型「外在幻觉」:万字 blog 详解抵抗办法、产...

大模型幻觉还分内在、外在了——OpenAI科学家翁荔最新Blog,提出LLM外在幻觉(extrinsichallucination)。有别于代指模型生成与现实不符、虚构、不一致或者毫无意义的内容,翁荔将LLM“幻觉”问题具体化为模型输出内容是虚构的,并且不基于所提供的上下文或世界知识。

中国AI大模型测评报告:公众及传媒行业大模型使用与满足研究

生成式预训练模型,又称大模型(LargeLanguageModel,LLM)是指通过大量的文本数据进行训练,使用深度学习技术,特别是基于变换器(Transformer)架构的神经网络模型。它们通常具有数十亿甚至上百亿个参数,在广泛的自然语言处理任务中表现出色。大模型的训练涉及大量计算资源和数据,通常由大型科技公司和研究机构开发和维护。

万文解析 100 个顶级思维模型:SMART 模型

SMART模型应用中的挑战与解决方案:分析产品人在应用SMART模型时可能遇到的挑战,如目标僵化、资源分配不当、团队理解不一致等,并提供针对性的解决方案。效果评估与优化方法:介绍如何对SMART模型的实施效果进行评估,并基于评估结果进行持续优化,确保目标设定和管理的持续有效性。