...欣然:Mooncake架构背后,如何用“炒菜”的思路实现推理的极致优化

通常情况下,一台机器上的GPU既用于“备菜”(预填充,即思考过程),也用于“炒菜”(解码,即逐字逐句输出),这两个阶段交替进行。假设今天只有一个请求,就是显卡可以顺利地进行“思考”和“输出”,过程相对简单。但是随着用户增多,传统想法是需要更多人使用同一张卡进行服务,因此当显卡在“炒菜”的过程中,如果有新请...

大语言模型会推理吗?

心理学和逻辑学一样把一个推理过程看作由一系列推理步骤组成,其中每个步骤都有其可以识别、研究的规律,只是这种规律性体现在人们的实际行为中,而未必能被某些抽象原则(如“保真”)来统一解释。由于神经网络模型中的推理行为是用人们解决实际问题时的前提和结论(在大语言模型中往往体现为语句间的先后顺序)以...

OpenAI 与 Anthropic 首席产品官对谈:AI 时代产品经理的核心技能...

结果应该是展示性或信息性的东西,这些东西可能会激发产品创意,而不是一种可预测的产品开发过程。这样降低预期,你就在心里已经做过风险规避了。SarahGuo:我们在做投资时,常常会思考一个问题,那就是,如果一个模型的成功率只有60%,而不是99%,那它还能做什么?很多任务可能最终接近60%的成功率,尤其是那些非...

大语言模型会推理吗?丨AI那厮

心理学和逻辑学一样把一个推理过程看作由一系列推理步骤组成,其中每个步骤都有其可以识别、研究的规律,只是这种规律性体现在人们的实际行为中,而未必能被某些抽象原则(如“保真”)来统一解释。由于神经网络模型中的推理行为是用人们解决实际问题时的前提和结论(在大语言模型中往往体现为语句间的先后顺序)以“端到...

Anthropic创始人访谈:不是因为Altman 与微软合作而离开OpenAI...

上述这些都是不同的流程,接着只需要一些时间让模型在推理方面发挥作用,并在API中启动它。所以要真正让模型发挥作用,有很多步骤。当然,我们一直在努力使流程尽可能简化。我们希望我们的安全测试是严格的,但我们希望它严格且自动化,在不影响严谨性的情况下,尽可能快地进行。我们的预训练过程和后训练过程也是如此...

罗艺 潘璐|人工智能伦理法治保障的进路:概念认知、伦理挑战与制度...

因此,有学者提出在这种由内部规则形成外部意思表示方面,人工智能与法人具有相似的构成路径(www.e993.com)2024年11月24日。生成式人工智能完成输出内容同样需要自然人的操作,首先研发者需要为人工智能收集与爬取数据、深度学习等设计特定算法程序,其次通过人机互动,人工智能根据用户指令输出、生成目标内容,这个过程中的每一环节都需要外部参与,这与法人...

数字法治|余韵洁:加密电子数据之搜查

例如，当一个人发出“是”的声音，或者在回答一个问题时点头，是想让听众把这些符号的意思理解为“是”，而不是简单地压低脖子。这种直接明示的方式意味着，口头证词所披露的信息范围与表达者意图展示的信息范围是一致的。另一方面，口头证词需要个人充分动用自己的大脑，将最为私密的思想与情感予以反映，是名副其实...

王煜全:当下这5年,会定义下一个100年

后面我会给大家展开讲讲,我们认为未来的发展阶段,因为不是凭空的猜想,而是通过对历史科技推动产业发展的阶段总结,我们就会知道未来是什么。从这个角度讲,我们认为未来五年会定义将要到来的一个世纪是多么重要,而且这是属于我们每个普通人的五年,不需要你是人工智能专家,不需要你是一个大佬级的人物,我们普通人都可以像...

爱范儿

DeepSeek公司近日宣布,其最新研发的推理模型DeepSeek-R1-Lite预览版已正式上线。该模型通过强化学习训练,具备长思维链推理能力,长度可达数万字,尤其在数学、编程和复杂逻辑推理任务上表现出色,被认为推理效果可与OpenAI的o1-preview相媲美,甚至能展示o1未公开的完整思考过程。在AMC的AIME和codeforces...

黄仁勋:AI数据中心可扩展至百万芯片,性能年翻倍,能耗年减2-3倍

我们需要把大量的电子设备整合在一起。我的意思是,这些设备的量多到值得去称一称。有数吨又数吨的设备,这太不正常了。通常像这样的超级计算机系统,从第一个系统开始交付,到你把所有东西都准备好进行一些严肃的工作,你通常需要规划几年时间。如果这个过程需要一年,你要知道,这是常有的事,并不奇怪。