...革新MoE架构!像搭积木一样构建大模型,提出新型类脑稀疏模块化...

具体而言,研究人员受启发于人脑高效的稀疏模块化架构,在论文《ConfigurableFoundationModels:BuildingLLMsfromaModularPerspective》中提出了一种类脑高效稀疏模块化架构:ConfigurableFoundationModel。该架构将大模型的模块拆分为预训练阶段产生的涌现模块(EmergentBrick)与后训练阶段产生的定制模块(CustomizedB...

开源模型突破原生多模态大模型性能瓶颈,上海AI Lab代季峰团队出品

与常见的采用CLIP等结构进行视觉编码的模块化多模态大模型不同,Mono-InternVL将视觉感知和多模态理解均集成到大语言模型中。相比于现有多模态大模型,Mono-InternVL有以下技术亮点:开源原生多模态架构最优解:无需额外的视觉编码器,通过内嵌视觉专家打通了一条从大语言模型到原生多模态模型扩展的新路径,2B模型多模态...

聚焦开源大模型前沿应用,GOSIM CHINA 2024《AI 模型与基础模型...

GOSIMCHINA2024以国际化、社区化、强互动为特色,主题围绕AI模型与基础设施、具身智能、下一代互联网、下一代媒体、Rust编程语言、App开发等6大热点技术,共组织了2场Keynote、6大主题论坛、6场workshop、2场黑客马拉松大赛……聚焦技术发展前沿趋势,探索开源技术的应用与创新。精彩内容...

姜子信/董冰Patterns:未来建筑能耗模型——融合物理先验的模块化...

该文章首次提出了一种融合物理先验的模块化深度神经网络模型(ModNN)。该模型通过将物理先验融入数据驱动模型,保证了模型的正确响应,极大地提高了模型的泛化能力。通过不同模块接口的调用、组装,该模型可以用于能耗预测,温湿度模拟,建筑节能改造和优化控制。该方法为未来多尺度、多维度、多部件的建筑能耗模型提供了新思路。

突破时间序列组合推理难题!南加大发布一站式多步推理框架TS...

TS-Reasoner的实现依赖于任务分解和模块化的任务执行。通过LLM的上下文学习能力,模型能够将复杂的任务分解为若干独立的程序步骤。每一步都会调用一个预定义的模块来处理特定的推理任务。整个流程遵循“分解—执行—合成”的逻辑,确保推理任务能够被逐步解决。

大模型格局变天:Llama 3.1 诞生,开源首次击败当今最强闭源模型

开发者将利用RAG技术优化模型，进行微调，并将其蒸馏成针对特定任务的小型专家模型(www.e993.com)2024年11月8日。研究人员将深入研究、测试和改进模型。整个开放生态系统也将以模块化方式自组织，形成各种产品、应用和服务，让每个参与者都能发挥所长。比如AI芯片独角兽Groq，他们开发了一种能快速推理LLM的新型芯片，已经集成了Llama3.1模型。不仅能...

百度发布文心大模型4.0 Turbo 多端面向用户正式开放

“文心一言累计用户规模已达3亿,日调用次数也达到了5亿。”6月28日,百度首席技术官、深度学习技术及应用国家工程研究中心主任王海峰在WAVESUMMIT深度学习开发者大会2024上宣布,并正式发布文心大模型4.0Turbo、飞桨框架3.0等最新技术,披露飞桨文心生态最新成果。

长江证券:AI Agent开创智能自动化工作模式 智普AutoGLM标志国内端...

1)Swarm以Python函数作为智能体可调用的工具：这些函数被转换成符合OpenAIAPI要求的格式，可以在对话过程中由模型自动调用以执行实际任务;根据用户输入动态地分配任务：Swarm可根据用户的输入动态地选择最适合的智能体，确保任务准确高效地完成。模块化设计大大提高了灵活性和扩展性：模块化设计使其根据环境需求增减或替换...

万字长文!看大公司如何开发大模型智能应用

在技术实现上,腾讯大数据团队综合运用了领域知识库建设、意图识别与优化、任务规划、工具调用、RAG技术应用、数据增强与自动标注、模型微调和后处理策略等多项关键技术。黎洋表示,借助AIAgent加速研发只是一个起点,未来其也将在更多方面持续推进相关能力的建设,进一步提升大数据智能化的应用水平。

迎接AI大模型新时代——智能安防行业大模型的落地应用与未来发展...

在深度学习的热潮中,安防是AI应用落地的先行者,当下大模型时代的开启,安防行业再次站在了技术应用的前沿。目前,众多安防企业正聚焦于多模态大模型等关键技术的研究,致力于推动这些技术的产业化应用,助力各行各业实现数字化和智能化的飞跃。本期,我们采访了四家推出大模型产品的行业领军企业的相关负责人,深入探讨智能...