司南OpenCompass 9 月榜单揭晓!开源模型首次占据榜首!

本次榜单囊括了国内外共30个大语言模型,包含国内外主流闭源模型和社区开源模型。相较于7月榜单,本次榜单的主要更新包括:新增GPT-4o-20240806,Step-2-16k万亿参数大模型,Doubao-pro-32k-240828等闭源模型,Qwen2.5系列,Mistral-Small-Instruct-2409,Llama-3.2系列等开源模型。对测试数据集进行了迭代优化,...

使用本地大模型调用代码,根本就是一场骗局!

'gpt-3.5-turbo-0613','gpt-3.5-turbo-16k-0613','gpt-3.5-turbo-1106','gpt-3.5-turbo-0125','gpt-3.5-turbo','gpt-3.5-turbo-16k','gpt-4-0314','gpt-4-32k-0314','gpt-4-0613','gpt-4-32k-0613','gpt-4-1106-preview

ChatGPT发布一周年了,开源大模型都迎头赶上了吗?

通过结合这两种看似相反的技术,Llama2-70B-32k-ret[1]在7个长文本任务(包括来自ZeroSCROLLS的4个数据集)上的平均表现超过了ChatGPT-16k。4.其他特定领域的应用能力(1)以查询为焦点的摘要:[2]发现,与ChatGPT相比,微调训练在性能上仍然更好。在CovidET、NEWTS、QMSum和SQuALITY等...

追问daily | 用AI帮你对话60岁的自己;高脂饮食可能引发焦虑;大...

进一步预训练使其编码和数学推理能力大幅提升,支持的编程语言从86种扩展到338种,且上下文长度从16K扩展到128K,能够处理更长的输入内容。该模型分为236B和16B两个规模,满足不同应用需求。在代码生成和数学推理的多个基准测试中,DeepSeek-Coder-V2表现优异。特别是在HumanEval、MBPP+、LiveCodeBench和USACO等测试中,其...

蓝美视讯|飞编大师视频融合系统方案 视频融合系统主要应用场景...

支持内置播放系统,支持8k*4k/16k*2k/32k*1k分辨率的素材播放;3.视频解码支持h265和h264,mp4封装解码,支持4K、8K、16K、32K流畅播放。4.多屏幕播放控制支持分屏播放,可分4幕播放,支持4幕同步播放5.超大存储空间标配256GB固态硬盘(可用素材存放空间大概180GB),可定制升级2T...

首个可商用的32k上下文开源大模型「长颈鹿」来了,两万词长文不在...

为了验证这种truncation策略的有效性,该研究发布了三个新的13B参数长上下文模型——Giraffe,包括两个基于LLaMA-13B训练而成的模型:上下文长度分别为4k和16k;一个基于LLaMA2-13B训练而成的模型,上下文长度是32k,该模型也是首个基于LLaMA2的32k上下文窗口开源LLM(www.e993.com)2024年11月6日。

不到1000步微调,将LLaMA上下文扩展到32K,田渊栋团队最新研究

比如OpenAI的gpt-3.5-turbo提供16ktoken的上下文窗口选项,AnthropicAI的更是将Claude处理token能力提升到100k。大模型处理上下文窗口是个什么概念,就拿GPT-4支持32ktoken来说,这相当于50页的文字,意味着在对话或生成文本时,GPT-4最多可以记住50页左右内容。

开源标杆!最强中英双语大模型来了,340亿参数,超越 Llama2-70B等...

△图:SFT模型在IRD数据集上的评测结果从种种成绩上来看,无论是基座模型亦或是对话模型,Aquila2系列均称得上是开源界最强了。上下文窗口长度至16K对于大语言模型来说,能否应对长文本输入,并且在多轮对话过程中保持上下文的流畅度,是决定其体验好坏的关键。

智源扔出大模型“全家桶”!推最强开源中英双语LLM,赶超Llama 2

在代码、中英文Few-ShotLeaning、电子书等多个领域上的文本续写实验显示，NLPE可以将4K的Aquila2-34B模型外延到32K长度，且续写文本的连贯性远好于Dynamic-NTK、位置插值等方法。图：NLPE与主流Dynamic-NTK外延方法在Base模型上的能力对比（ppl值越低越好）此外，在长度为5K～15K的HotpotQA、2WikiMultihopQA等数据...

国产大模型开源一哥再登场,最强双语LLM「全家桶」级开源!340亿...

在LongBench的四项中英文长文本问答、长文本总结任务的评测效果显示,AquilaChat2-34B-16K处于开源长文本模型的领先水平,已经接近GPT-3.5。长文本理解任务评测另外,我们都知道,大模型普遍存在着长度外延能力不足的问题,这个问题严重制约了大模型的长文本能力。