今日《自然》专题:开创肿瘤研究新时代!12篇论文齐发,3D图谱揭示...

此次一共上线了12篇论文,来自美国、英国、中国等多家研究机构的科学家们借助新技术绘制肿瘤演变中细胞、结构和分子特征的3D图谱,带来了有关乳腺癌、结直肠癌、胰腺导管腺癌、肾细胞癌、子宫内膜癌和胆管癌等六大癌症的详细数据,提出了多项新发现。美国圣路易斯华盛顿大学的丁莉教授是旗舰论文的共同通讯作者,正如她在...

大模型是否有推理能力?DeepMind数月前的论文让AI社区

在动作-值预测中,上下文大小为79,而在状态-值预测和行为克隆中,上下文大小为78。对于动作和状态-值预测,输出大小为,对于行为克隆,输出大小为1968(所有可能合法动作的数量)。之后作者使用学习到的位置编码,从而保持输入序列的长度是恒定的。最大的模型大约有2.7亿个参数。Token化。棋盘状态被编码...

研究生论文如何写作,此书能指点迷津

第一、对学术标准的精准把握:一篇好的博士和硕士学位论文的指标是什么?简单点说,就是四个字:专、新、深、实。这四个字的含义是什么呢?让我们翻到该书101页吧!好论文的四项标准:一、专:下沉到点.首先应该是有新意的点,即别人没有研究过的,没有研究透的,有分歧的、应予纠正的,或者需要重新审视的问题。

OpenAI“最后一篇”超级对齐论文发布:大小模型相互博弈,输出可读...

最终,大模型输出的结果不仅更易理解,自身的准确率也没有明显损失,小模型的判断水平也提高了。甚至论文作者之一、OpenAI研究员YiningChen表示,这种方法“有可能使未来的模型比人类更聪明”。值得一提的是,超级对齐团队原负责人、RLHF作者JanLeike也参与了这项研究,他离职时曾炮轰OpenAI不重视安全。不过,JanLei...

全球首个AI科学家!一口气交出4篇顶会级论文,但会偷偷“开挂”改脚本

▲《AI科学家:向全自动开放式科学发现迈进》论文一、4步完成科研论文,达到AI顶会接受标准听说过AI诗人、AI画家、AI程序员,现在AI科学家也出现了。AI科学家是一个全面自动化的论文生成系统,它充分利用了最前沿的大模型。它从一个基础性的初始代码库出发,比如GitHub上现成的开源研究代码,只要给定一个宽泛的研...

GPT-4o不会数r,被外国小哥原地逼疯,谷歌论文揭秘Transformer“数...

研究者使用标准架构组件(自注意力、MLP、layernorm等)训练Transformer模型(www.e993.com)2024年11月7日。他们使用了两层和四个头(理论上可以使用更少,但这种架构的优化速度更快)。训练使用Adam进行优化,批大小为16,步长为10^-4。训练运行100K步。位置嵌入进行了优化。为了预测计数y,研究者在最后一层中最后一个token的嵌入之上使用线性投影...

2024年6月后2周大语言模型论文总结:LLM进展、微调、推理和对齐

LongRAG在HotpotQA(全维基)上也达到了64.3%,与当前最好的模型持平。论文的研究为将RAG与长上下文LLMs结合提供了未来的发展路线图。2、TowardsRetrievalAugmentedGenerationoverLargeVideoLibraries在这篇论文中引入了视频库问答(VLQA)任务,通过一个可互操作的架构,将检索增强生成(RAG)应用于视频库。

Scaling Laws with Vocabulary:通过调整词汇表大小优化大语言模型...

论文中提出了三种方法来预测计算最优的词汇表大小:IsoFLOPs分析:通过预训练具有不同词汇表配置的模型,并保持固定的计算资源(FLOPs)来分析。这种方法涉及对多种词汇表大小的模型进行训练,并观察哪种大小能在给定的FLOPs预算下达到最佳性能。基于导数的估计:这种方法利用FLOPs对词汇表大小的导数来找到最优点。具体来...

建议收藏,100篇必读论文|大模型月报(2024.03)

得益于这些改进,PixArt-Σ实现了卓越的图像质量和用户提示功能,同时模型大小(0.6B参数)明显小于现有的文本到图像扩散模型,如SDXL(2.6B参数)和SDCascade(5.1B参数)。此外,PixArt-Σ能够生成4K图像,支持制作高分辨率海报和壁纸,有效地促进了电影和游戏等行业高质量视觉内容的生产。论文链接:httpsar...

匿名论文提出奇招,增强大模型长文本能力居然还能这么做

一般来说,在标准框架中更新Temp-Loramo模块后,我们需要使用更新的参数重新计算KV状态。或者,重用现有的缓存KV状态,同时使用更新的模型进行后续的文本生成。具体来说,只有当模型生成最大长度(上下文窗口大小W)时,我们才使用最新的Temp-Lora模块重新计算KV状态。