...Transformer破解百年三体难题,凭数学直觉找到李雅普诺夫函数

在稳定性未知的一组随机动力系统上,研究者测试了自己的模型,发现在10%到13%的情况下,都能找到新的新的李亚普诺夫函数。在这项任务上,这些增强的模型在各种基准测试中大大超越了最先进的技术和人类表现。它们的准确率超过80%,但硕士生级别的人类数学家在这项任务上的准确率不到10%。最后,研究者测试了模型在...

Vitalik 关于以太坊可能的未来(六):The Splurge

可验证延迟函数(VDFs)它解决了什么问题?目前,以太坊使用基于RANDAO的随机性来选择提议者,RANDAO的随机性是通过要求每个提议者揭示他们提前承诺的秘密,并将每个揭示的秘密混合到随机性中来工作的。每个提议者因此有「1位操控权」:他们可以通过不出现来改变随机性(有成本)。这种方式对于寻找提议者来说是合理...

语言模型驱动的软件工具思考:可解释与可溯源

例如,在服装分类任务中,开源数据集可能会将非常相似的服装款式标注为不同的类别,而人类观察者可能会认为这些款式是相近的。这种令人困惑的标注会影响模型预测的性能。为此我们设计了新的影响函数在很多开源数据集上找到了很多标注bug,并发表在了NeurIPS’22的会议论文《DebuggingandExplainingMetricLearningAppr...

从架构角度认识 AI:为架构师解读机器学习与生成增强技术

简单来说,像ChatGPT这样的东西或所谓的语言模型,函数的输入是一个单词序列或更抽象的Token。输出是所有可能的Token以及它们成为下一个Token的概率。让我们通过一个例子来看一下。如果我输入序列“onceupona...”,下一个单词是什么?ThomasBetts:我猜是“time”。AnthonyAlford:是的。LLM会给出...

图灵奖得主 Yann LeCun 万字演讲:今天的 AI 比猫还笨,自曝早已...

你可以想象这个目标是某种能量函数,你是在以输出为变量最小化这个能量。你可能会有多个解决方案,并且你可能有某种方法来处理这些多个解决方案。人类的感知系统确实如此,如果你对特定的感知有多个解释,你的大脑会自发地在这些解释之间循环。因此,有一些证据表明,这种类型的事情确实会发生。但是让我回到架构上来。

前所未有:GPU集群恶意代码注入?模型投毒???资源消耗攻击?

随机种子是控制随机过程的一个关键参数(www.e993.com)2024年11月2日。AI大模型训练很多操作,如权重初始化、数据打乱、训练批次生成等,都依赖随机数生成。14.恶意使用Sleep函数,任务暂停。这样会影响GPU的使用,从而降低GPU利用率。这是工程团队工作效率的重要指标。GPU要一直干活,利用率才高,当计算:休息=1:1,使...

1969年-2023年历届诺贝尔经济学奖得主介绍(5万字长文收藏版)

他认为前者是经济理论给定的方程,后者则是当我们把内生变量作为外生变量和随机扰动的函数,并对其求解时得到的方程。这两种方程对应的变量关系存在明显不同。1990年哈里·马科维茨、默顿·米勒和威廉·夏普1990年的诺贝尔经济学奖授予三位美国经济学家:哈里·马科维茨(HarryMarkowitz)、默顿·米勒(MertonMiller...

Anthropic CEO :5到10年内,AI将助力人类扫除几乎所有疾病

除了只是“一个你可以对话的聪明机器”之外,它拥有所有对一个人类虚拟工作者可用的“接口”,包括文本、音频、视频、鼠标和键盘控制,以及互联网访问。它可以从事任何由此接口启用的行动、交流或远程操作,包括在互联网上采取行动,发布或接收指示,订购材料,指挥实验,观看视频,制作视频等等。它在所有这些任务上的技能都超过...

是什么让他成为现代计算机之父?丨纪念冯·诺伊曼诞辰120周年(下)

如果S是一个度量空间,d(f,g)是任意两个元素之间的距离,若函数ft连续并在S中取中值,如有d(ft,fs)=F(t-s),则称ft是螺旋函数(screwfunction)。这一基本定理决定了希尔伯特空间上所有此类函数的类,并确定了它们的形式。(任意这种函数F(t)可以由...

指纹究竟是不是独特的?本科生顶刊发文遭法医界质疑

通过梯度下降来最小化三元组损失函数L(a,p,n)=max{d(a,p)??d(a,n)+α,0}(d表示欧氏距离,α为超参数),从而在向量空间中以锚示例为锚点,“拉近”正例,“推远”负例。训练结果显示,与不同个体指纹间的向量距离相比,同一个体指纹间的向量距离显著更短,单边t检验(α=10^(-4))P<...