清华厦大等提出“无限长上下文”技术,100万大海捞针全绿
通过以上工作流程,LLMxMapReduce能够更有效地处理长文本,避免因切分导致的信息丢失或错误结论,从而提高最终结果的准确性。大模型长文本上分神器为了验证LLMxMapReduce技术的有效性,研究人员在业内权威的长文本评测InfiniteBench榜单上对不同模型进行了评测,InfiniteBench是一个综合性榜单,最长长度超过2000ktoken。研...
AI的“phone use”竟是这样练成的,清华、智谱团队发布AutoGLM技术...
通常,互联网上的文本语料库中缺乏智能体相关的数据,使得LLM难以有效地充当智能体。此外,现有的多模态大模型(LMM)预训练主要集中于“视觉指令微调”,未能充分从序列多模态数据中学习。因此,合理利用在线数据中的弱监督决策信号来进行预训练能够提供帮助。此外,在多模态感知方面,高分辨率视觉输入非常重要,尤其是在使用...
Claude团队喜提清华物理学霸姚顺宇!两个Yao Shunyu都投身大模型
而在今年8月加入OpenAI的姚顺雨，同样也是来自清华，是姚班学霸+联席会主席（还是个Rapper）。和搞物理的姚顺宇一样，姚班的姚顺雨在科研上的成就也是具备不小的影响力：思维树（TreeofThoughts）：让LLM反复思考，大幅提高推理能力。SWE-bench：一个大模型能力评估数据集。SWE-agent：一个开源AI程序员。毫不夸张...
韩松团队长上下文LLM推理高效框架:单GPU 330万Token上下文推理
随着大语言模型(LargeLanguageModels,LLMs)在各类任务中的广泛应用,尤其是在长上下文(Long-Context)场景中处理海量文本信息,如何在保证模型性能的同时减少内存和计算成本,成为了一个亟待解决的难题。为此,来自MIT、清华大学、上海交通大学、爱丁堡大学和NVIDIA的研究团队联合提出了DuoAttention框架。这项创新技术通...
CMU清华教LLM练成数学高手,LeanSTaR训练模型边思考边证明,登顶新...
CMU清华团队提出了Lean-STaR训练框架,在语言模型进行推理的每一步中都植入CoT,提升了模型的定理证明能力,成为miniF2F上的新SOTA。如果想训练LLM证明定理的能力,你会怎么做?既然模型可以通过海量语料学会生成文本,那如果我们能喂给它足够数量的形式证明数据,定理证明能力自然水到渠成?
CMU&清华:让LLM自己合成数据来学习,特定任务性能同样大幅提升
本文主要作者来自清华大学和卡内基梅隆大学(CMU)(www.e993.com)2024年11月20日。共同一作为清华大学计算机系本科毕业生赵晨阳,卡内基梅隆大学硕士生贾雪莹。虽然大规模语言模型(LLM)在许多自然语言处理任务中表现优异,但在具体任务中的效果却不尽如人意。为了提升模型在特定自然语言任务上的表现,现有的方法主要依赖于高质量的人工标注数据。这类数据...
清华等推出开源大模型水印工具包MarkLLM,支持近10种最新水印算法
MarkLLM：??个开源??模型??印多功能??具包针对刚才提到的3个问题，作者设计并实现了??向??语??模型??印技术的??具包MarkLLM。MarkLLM的主要贡献可总结如下：1.功能??度统??的??模型??印算法实现框架：??持两个关键??印算法家族（KGW家族和Christ家族）的9种具体算法。
重磅!NAT MED丨上海交通大学携手清华大学与新加坡国立大学研制...
上海交通大学电院计算机系/教育部人工智能重点实验室盛斌团队携手清华大学黄天荫教授团队、上海交通大学医学院附属第六人民医院贾伟平和李华婷团队,携手新加坡国立大学覃宇宗教授团队,通过医工交叉合作研究,构建了全球首个面向糖尿病诊疗的视觉-大语言模型的多模态集成智能系统DeepDR-LLM,成果于2024年7月19日在NatureMedicine...
Nature Medicine:上海交通大学携手清华大学与新加坡国立大学研制...
DeepDR-LLM系统融合了大语言模型和深度学习技术优势,实现了医学影像诊断与诊疗意见的多模态生成功能,能提供糖尿病视网膜病变辅助诊断结果及个性化糖尿病综合管理意见。上海交通大学电院计算机系/教育部人工智能重点实验室盛斌团队携手清华大学黄天荫教授团队、上海交通大学医学院附属第六人民医院贾伟平和李华婷团队,携手新加坡...
Nat Med:上海交大盛斌/贾伟平/李华婷、清华大学黄天荫、新加坡...
上海交通大学电院计算机系/教育部人工智能重点实验室盛斌团队携手清华大学黄天荫教授团队、上海交通大学医学院附属第六人民医院贾伟平和李华婷团队,携手新加坡国立大学覃宇宗教授团队,通过医工交叉合作研究,构建了全球首个面向糖尿病诊疗的视觉-大语言模型的多模态集成智能系统DeepDR-LLM,成果于2024年7月19日在NatureMedicine...