技术之辩 | Dario Amodei:Scaling Law 还没遇到上限

我们的确有可能会用完数据,因为网络上的数据量是有限的,数据质量也是个问题,虽然网络上有数百亿的词汇量,但其中很多都是重复的,或者是为了SEO而产生的内容,甚至未来可能是AI自己生成的文本。所以我认为通过这种方式获取的数据是有限的。不过,我们正在研究如何制造合成数据(syntheticdata),通过模型生成与现有数...

教育部抽检!一地近8成高校,检出“不合格”

学生问卷的结果,论文中没有运用。论文调研内容过于简单,没有深层次的调研,数据统计过于简单,只有百分比统计,没有对比分析。问题论文三:摘要内容与论文内容不符。论文的关键词不够。存在“最...最...”等容易引起歧义或过于肯定的语言或词汇。论文的表述语言建议中性的学术语言表述。论文中缺少最基本的相关理论或...

对话李开复:“勤俭持家”的中国大模型道路

我们过的数据大概是GPT-4的三分之一,一下又省了三倍的成本。而且MoE就是一个很聪明的降低参数的方法。用MoE,是看到了稠密模型的缺点,比如4050亿的参数量,里面绝大多数都是无用的,用MoE是指,如果只有这几个地方重要,就把它们拉出来做3个专家模型,其他的我就不要了。这是一个简化的例子。我们不断做这方面...

撞墙还是新起点?自回归模型在图像领域展现出Scaling潜力

这篇文章透露,OpenAI下一代旗舰模型的质量提升幅度不及前两款旗舰模型之间的质量提升,因为高质量文本和其他数据的供应量正在减少,原本的ScalingLaw(用更多的数据训练更大的模型)可能无以为继。文章发布后,很多人反驳了这一观点,认为ScalingLaw还没到撞墙的地步,毕竟很多训练大模型的团队依然能够看到模型能力...

全面起底!韩国动物园对大熊猫是爱,还是伤害?

莉莉在旅韩期间罹患营养不良是毋庸置疑的事实,一篇研究圈养环境下大熊猫慢性营养不良综合征的论文里,就收录过莉莉作为研究案例,里面清楚记录下14岁的莉莉体重只有65公斤,回国后经过漫长的治疗,莉莉才慢慢恢复了健康。然而,这段灾难性的旅韩经历,给川星和莉莉造成的伤害是无法轻易被抹去的,两只熊猫在很长一段时间内...

室友骗我去实验室,从楼顶给我推了下去,我:招你惹你了?

“你只要跟着我,论文肯定没问题!”经历了不愉快的室友之后,听到这些话,我仿佛看到了希望,差点感动得落泪(www.e993.com)2024年11月28日。但紧接着,他的手放在了我的大腿上。我一愣,脑海中立刻闪过可怕的画面,整个人从沙发上跳了起来。满脸惊恐,我急忙后退了几步。导师并没有生气,反而像看着小孩子一样无奈地笑了笑,说:“你考上研...

身在银河系中的我们,到底是怎么知道整个银河系全貌的?

如果你的预言得到了证实，那么恭喜你，你的理论通过了新一轮的考验。但如果这些预言没有得到证实，就表明你的模型需要修改，甚至是错误的，需要提出一套新的模型。就像夏普利推翻了日心说，但他也被哈勃证明他的很多观点是错误的。我们关于银河系模型做的这些工作，也许过几年会被其他人证明是错的，我们的科学研究...

IDEA研究院沈向洋:从PMF到TMF, AI For Science是一定要做的事

这引申出来另一件很重要的事——互联网上英文数据的重要性。无论训练哪个语言的人工智能,底层高质量的数据都是英文的,人工智能时代英文的重要性可能还会更加增强,就像互联网时代以后,英语是更加变成了主导的语言。所以,当网上已经没有数据,人工智能向前发展要造数据、合成数据,有可能带来大模型创业下新的百亿美金的...

终于有人调查了小模型过拟合:三分之二都有数据污染,微软Phi-3...

很多研究者对模型过拟合的一种担心是,模型无法进行推理,而只是记忆训练数据中的答案,但本论文的结果并不支持这一假设。模型过拟合的事实并不意味着它的推理能力很差,而仅仅意味着它没有基准所显示的那么好。事实上,研究者发现许多过拟合模型仍然能够推理和解决新问题。例如,Phi-3在GSM8k和GSM1k之间的准确...

卧底“论文工厂”:剽窃论文、编造数据 写手用AI生成廉价论文

由于原文中作者未能提供统计数据,所以只得编造数据制作表格。其间,记者将文中使用假数据的事告诉中介,中介回复了一个“微笑”的表情,不置可否。“像这种论文,必须要有数据支撑,但作者又没有提供,你只能编数据喽。”有经验的写手告诉记者,不管是兼职写手,还是全职写手,都是为了挣钱。大家考虑的都是如何在最短时间...