Yann LeCun最新万字演讲:致力于下一代AI系统,我们基本上不做LLM了
一种方法是通过从损坏中重建:假设一段文本,你通过删除单词或更改其他单词来破坏它,你知道,它可以是文本,也可以是DNA序列或蛋白质或其他任何东西,甚至在某种程度上也可以是图像,然后你训练一个巨大的神经网络来重建完整的、未损坏的版本。这是一个生成模型,因为它试图重建原始信号这应该是可以的,但它没有投射。所...
新书|AI能在供应链管理中做什么?—对话《AI与大数据分析重塑供应...
10月8日,瑞典皇家科学院宣布,将2024年诺贝尔物理学奖授予美国科学家约翰·霍普菲尔德和英裔加拿大科学家杰弗里·辛顿,以表彰他们通过人工神经网络实现机器学习而作出的基础性发现和发明。10月9日,2024年诺贝尔化学奖公布,获奖的三位科学家利用人工智能在蛋白质设计和蛋白质结构预测方面作出了杰出的贡献。网友调侃说,今年...
AI——新的基础学科
基于人工神经网络深度学习用于蛋白质设计的工具Rosetta和蛋白质结构预测的工具AlphaFold,彻底解放了当前结构生物学“严重依赖冷冻电镜平台和博士生夜以继日观察”的研发范式和劳动投入。并且一举推到了过去横梗在这个学科发展的几座大山:重资产(批量购买冷冻电镜建电镜平台),学生多(三班倒夜以继日地观察)、以及研究经费大...
硅谷顶级风投a16z创始人:未来销售智能可能就像销售大米一样,变成...
还有另一种观点认为,计算机应该基于人类大脑的结构进行设计。实际上,早在那个年代,神经网络的基本结构已经被理解了。关于神经网络的第一篇论文是在1943年发表的,距今已有81年。当时的很多人物,如艾伦·图灵和冯·诺依曼等,都认为基于大脑的计算机架构会更好。然而,计算机行业基本上走上了另一条道路,99%的发展都集...
诺贝尔物理学奖颁给“AI教父”引热议
这是一项基于深度学习和神经网络技术的算法,它能够直接从蛋白质的氨基酸序列中预测蛋白质的3D结构,并且达到原子级精度,被认为解决了困扰人类50年历史的蛋白质折叠挑战,迅速推进了人类对基本生物过程的理解,并促进药物设计。诺贝尔化学奖委员会称,AlphaFold2是一项“彻底的变革”。自这项模型推出以来,已有来自190个国家和...
引爆整个AI圈的神经网络架构KAN,究竟是啥?
深度解析了神经网络架构KAN的原理和应用,揭示了其在科学领域的潜力(www.e993.com)2024年10月23日。????KAN是一种全新的神经网络架构,具备较少参数量和可解释性????KAN在函数拟合、偏微分方程求解、拓扑理论等领域表现出色????KAN是连接符号主义和连接主义的桥梁,具备未来AI发展的潜力...
脑科学能用Transformer做什么?
2.fMRI:与MRI不同,fMRI关注的是测量脑部血流和代谢的变化,以推断不同脑区域的活动水平。fMRI通过检测脑血液氧合水平的变化(BOLD信号)来间接测量神经活动。它主要用于研究大脑在执行任务、处理刺激或进行特定认知功能时的活动。3.fMRI使用BOLD信号作为衡量脑部活动的指标,而MRI则主要关注组织的结构。BOLD信号是...
Meta新研究挑战CV领域基操:ViT根本不用patch,用像素做token效果更佳
比如,从前的研究人员会手动选择特征,现在则是让神经网络从数据中自行学习特征。不仅是数据,模型架构方面也是如此。CNN的核心是不同大小的卷积核,极其擅长提取图像中的空间层次结构。在分层学习的过程中,卷积网络先提取边缘、颜色、纹理等低级特征,在此基础上,随后提取出更加抽象、复杂的特征表达,比如面部表情、物体类...
AI浪潮中的日本前沿科学:如果不做大模型 还能做什么?|GAI进化论
轰轰烈烈的AI浪潮正向前推进,身处其中的这一代人面临着诸多未来变数,需要对经济结构、市场格局乃至人生选择保持敏感性。浪潮总是由一些弄潮儿在主导,目前的弄潮儿正围绕大模型展开赛跑。不过,除了大模型以外,还能做什么呢?例如,拥有其他优势的人和国家,应该怎样参与到这场新技术浪潮中?
神经网络、Transformer、占据网络...晦涩难懂吗?看完这篇文章你...
可以用一个简单的卷积神经网络(CNN)来说明层归一化在图像处理中的作用。如果是无层归一化的网络的情况下,每一层的输入可能具有不同的分布,这样再做梯度传递及下降过程中,就会因为不同的分布导致每层更新的模型权值差别较大,此时,模型就会发散。这就是我们经常碰到的梯度爆炸。另外一方面,当网络较深时,梯度需要通...