AI经济学 | 第二章:中国AI发展面临的挑战与应对之道

根据EpochAI的“知名[11]机器学习模型”统计数据库,最早的机器学习案例是贝尔实验室在1950年发明的“迷宫解谜”机器老鼠Theseus,其后至2013年底,美国、英国、日本、加拿大等十余个国家相继推出了182个“知名模型”,任务类型涉及视觉、语言、游戏、语音、算数、推荐等,而中国首个“知名模型”是何明凯等人在2014年发布...

...| 用AI帮你对话60岁的自己;高脂饮食可能引发焦虑;大语言模型的...

通过联合训练的方法,该模型利用视频和图像数据进行学习,显著提升了生成动态和静态内容时的表现能力,确保输出内容的连续性和一致性。Gen-3Alpha支持从文本到视频、从图像到视频、从文本到图像的多种生成工具,并提供高度描述性和时间密集型的字幕,以增强对场景细节和时间变化的理解。通过细粒度的时间控制,模型能够实现...

90 后北大博导造人形机器人,不学特斯拉

Google做RT(robottransformer,一种机器人控制算法)时,有两百人左右的“EverydayRobots”团队,做完RT-1后,这个部门就被裁撤了,就是因为商业模式不存在。现在中国的具身智能公司,只有没有自己路线的才学美国的特斯拉和Google。没有美国公司资本充裕,还讲人家的故事,那只能是死路一条。《晚点》:这...

92页的llama 3.1技术报告,我替你们啃下来了

时间也不能太长,最多2个月时间,不然员工个人就得准备写3d接雨水,而公司可能因为太久没消息,逐渐失去关注,股价下跌。但是,拦着工程师们直接用最大规模的数据,最大的算力梭哈一个大模型的理由是:超大规模的大模型效果不一定好。这里可以点名批评一下马斯克的grok,314B,至今在各大leaderboard上查无此人。这里的原...

让失去的时光重现光彩——真实世界视频智能增强技术

由于我们无法得知真实的退化是如何形成的,也就无法通过数学公式来准确描述。但是,我们可以想办法生成相似的退化类型,然后扩大退化的范围,从而将各种复杂的退化都囊括其中。继而用大退化空间来训练大模型,让模型具备处理各种复杂退化的能力。我们所采用的退化模型叫高阶数多层次退化模型,它不仅包含了各种常见的退化类型,如...

有道QAnything背后的故事---关于RAG的一点经验分享

我们在训练Embedding模型时发现,过难的负样本对模型训练有损害,训练过程中会使模型“困惑”,影响模型最终性能[19](www.e993.com)2024年12月19日。Embedding模型算法本身性能上限有限,很多难负样本只有细微差异,“相似”程度很高。就像让一个小学生强行去学习微积分,这种数据对Embedding训练是“有毒”的。在大量的语料库中,没有人工校验的自动化难...

神经网络理论研究的挑战性课题:统计物理能否给智能科学带来第一性...

目前的深度学习算法是否能够进行因果推理仍然是一个悬而未决的问题。因此,发展分析性玩具模型成为解决这个问题的关键,尽管通过简单的物理方程来确定深度学习中观察到的效果的原因将非常具有挑战性,这是由于体系的结构和学习的复杂性所致[59]。这个挑战与大语言模型的惊人性能密切相关(参见下面的第七个挑战)。

谷歌复用30年前经典算法,CV引入强化学习,网友:视觉RLHF要来了?

该研究旨在学习以θ为参数的条件分布P(y|x,θ),使奖励函数R最大化。用抽象的公式来形容,就是本文要解决以下优化问题。问题有了,接下来就是怎么解决了,本文分两步走:首先用最大似然估计对模型进行预训练;然后使用REINFORCE算法对模型进行Tuning。下面我们看看这两步的具体过程:...

业界| 从FM推演各深度CTR预估模型(附代码)

多年以后,当资深算法专家们看着无缝对接用户需求的广告收入节节攀升时,他们可能会想起自己之前痛苦推导FM与深度学习公式的某个夜晚……——题记1.引言点击率(click-throughrate,CTR)是互联网公司进行流量分配的核心依据之一。比如互联网广告平台,为了精细化权衡和保障用户、广告、平台三方的利益,准确的CTR预估是...

图灵和冯·诺依曼的遗产:生命计算机的架构

这篇近期发表于PNAS的文章题为“图灵和冯·诺依曼的遗产:生命计算机的架构”,以DNA聚合酶为例,说明生物分子实际上就是计算机器;并阐释了计算模型的层级结构可以在生物计算领域找到类似结构。通过将生物学简化为计算形式,计算机科学可以用来将生物学系统化。反过来,计算机科学家或许能够挖掘生物计算中的自然宇宙,利用数十亿...