债市供需 | 机构行为视角下的债券交易领先因子探寻与神经网络收益...
(一)模型原理神经网络模型(见图8)通常可以分为输入层、隐藏层和输出层,其中隐藏层和每个隐藏层中的神经元数目均可以有多个。为了寻找输入数据X和真实数据Y之间的关系,需要初始化输入层到隐藏层神经元的权重和偏置,再经过非线性函数激活、加权求和,最终到达输出层。由于激活函数是非线性,使得模型可以描述X和Y之间更...
独家对话诺奖评委:授予辛顿物理学奖引发对AI风险的关注,是好的副...
我们认为两位科学家获得诺贝尔物理学奖的原因是,Hinton和Hopfield都使用了物理学原理来使这些神经网络成为可能。应该记住的是,诺贝尔物理学奖是授予发现或发明。这意味着你可以因为利用物理学知识进行发明并可能造福人类而获奖。我认为今年的物理学奖正是如此。Hopfield当时受到了他对人脑认识的启发,神经元通过突触与其他...
...AI公司发布“牛顿”物理学大模型,能从传感器数据中学习物理原理
使用基于Transformer的深度神经网络,Newton模型对所有这些原始、嘈杂的传感器数据进行编码,并试图通过捕捉隐藏模式和统计分布来理解它们。接下来,研究团队训练了几个轻量级、特定于应用的神经网络解码器。这些解码器经过训练,可以执行现实世界的任务。例如,根据传感器数据预测未来结果或重建过去事件。在实际应用中,Newton...
刷脸背后,卷积神经网络的数学原理原来是这样的
就像在密集连接神经网络中一样,我们的目标是在一个叫做梯度下降的过程中计算导数,然后使用它们来更新参数值。在计算中我们会使用链式法则——这个我在之前的文章中提到过。我们想要评估参数的变化对结果特征图的影响,然后评估它对最终结果的影响。在开始进入细节之前,让我们来统一一下将会用到的数学符号——为了让事...
机构行为视角下的债券交易领先因子探寻与神经网络收益率预测
神经网络是一种强大的非线性模型,能够通过学习大量历史数据中的复杂模式和关系,对债券收益率的变动进行建模和预测。通过构建适当的神经网络架构,可以有效地处理和分析历史机构净买入数据和国债收益率数据,从而探索机构行为对债市收益率的影响。(一)模型原理
非Transformer架构新模型爆火,从第一性原理出发,MIT CSAIL衍生...
LFM用的是一种液态神经网络(LNN),从第一性原理出发而构建,其计算单元植根于动态系统理论、信号处理和数值线性代数(www.e993.com)2024年10月23日。这种架构还有一个特点:在内存效率方面特别强。基于Transformer的LLM中的KV缓存在长上下文中会急剧增长,而LFM即使在处理100万个token时也能保持内存最小。小巧便携,使得它能够直接部署在手机上进行文...
“诺奖背后是AI的革命”!宁诺教授解读最新诺贝尔物理学奖
“该模型的实现采用了物理学中的‘能量函数’概念。”邱国平说道。他用“烧红的铁块”形象地形容了这一原理:当模型接收到外部输入时,网络中的神经元会不断互动,寻找匹配的内容,这个过程就像是烧红的铁块(类似人类思考)。随着所需的内容逐渐匹配,铁块慢慢冷却,最终达到一个稳定的状态,即找到了需要的内容。至...
专家解读诺奖:AI目前还仍未真正影响到物理学,短期看AI是一种...
这次的物理学奖颁给Hopfield和Hinton,表彰他们推动利用人工神经网络进行机器学习的基础性发现和发明,其核心主要是把物理学的基本原理应用到了AI神经网络领域。不过,窦德景认为,“AI对物理学本身的贡献还不足够明显。”他介绍,过往AI对物理学界产生一个贡献是在2017年,天文学家用计算机视觉技术帮助处理得到人类首...
KAN干翻MLP,开创神经网络新范式!一个数十年前数学定理,竟被MIT...
典型的神经网络工作原理是这样的:一层层人工神经元/节点,通过人工突触/边,进行连接。信息经过每一层,经过处理后再传输到下一层,直到最终将其输出。对边进行加权,权重较大的边,比其他边有更大的影响。在所谓的训练期间,这些权重会不断调整,最终使得神经网络输出越来越接近正确答案。
追问|当我们记忆和思考时,大脑在干什么?
而在细胞层面,大脑是由上亿个(人类为860亿个)不同种类的神经元细胞通过突触连接而成的复杂网络,通过电流等信号递质进行交流。从这个角度上来看,大脑并不是像电脑那样以功能明确的模块化方式运行的,而是一个大规模的并行网络:同样的神经元可能广泛参与不同的认知活动。