中国建设钱千亿级数量地震波大模型 仪器行业如何配合大模型预测
3.多源数据融合:结合来自不同来源的数据(如卫星遥感、地面观测站数据等),通过多源数据融合技术,提升地震预测的准确性和可靠性。4.仿真与预测模型:开发和优化数值地震预测模型,利用这些模型生成合成地震目录、应力场演化图像及地震活动概率等,从而辅助判断震情趋势。5.智能诊断与决策支持系统:利用AIGC(AI生...
巧解「数据稀缺」问题!清华开源GPD:用扩散模型生成神经网络参数
2.扩散模型预训练:该框架使用收集到的预训练模型参数作为训练数据,训练扩散模型来学习生成模型参数的过程。扩散模型通过逐步去噪来生成参数,这个过程类似于从随机初始化开始的参数优化过程,因此能够更好地适应目标城市的数据分布。3.神经网络参数生成:在预训练后,可以通过使用目标城市的区域提示来生成参数。这种方法利...
万字长文解构中国如何复刻 Sora:模型架构、参数规模、数据规模...
-模型(DiffusionvsAutoregressive):如果选择扩散模型(Diffusion),优化目标是预测噪音;如果选择自回归模型(Autoregressive,比如GPT),优化目标是预测下一个Token。3.De-Tokenizer/Decoder(解码器):解码器把第二步生成的LatentTokens还原成Image/Video,这个一般是第一步Tokenizer的反向过程,但也可以单...
股票预测中模型复杂性的利弊
数据在输入到模型之前可以使用一些预处理的方法,比如Z-Score或者排序,Z-Score既能去除异常值还能改变数据的分布,同时保留变量间的距离信息。排序法能去除异常值,但同时去除了变量间的距离信息。下表1给出了不同模型基于不同处理方法的结果,其中括号外的数值表示基于预测值做多指数(预测为负时持有现金)的策略的夏普比...
大模型对齐阶段的Scaling Laws
对比全参数精调FMT和PET精调的结果可以发现,FMT需要更多的数据,也能取得更好的效果。而数据量少时更适合用PET,prompttuning在数据量少的时候更好,lora在数据量多的时候更好更稳定。另外PET的精调方式很依赖模型尺寸和预训练数据,当基座很强时,PET和FMT的差距会缩小...
月之暗面杨植麟复盘大模型创业这一年:向延绵而未知的雪山前进
只要你有好的想法、有意义的问题,这个都还好(www.e993.com)2024年8月5日。两个脑子或n个脑子做出来的,比一个脑子多。这在开发AGI的时候也可以用。AI一个重要策略叫“ensemble”(使用集成方法,用多个不同的模型或方法,将它们的预测或结果结合起来,获得更优性能),本质在做一样的事情,当你有diverse的观点你可以碰撞出很多新东西。合作有很大...
基于知识图谱的少样本和零样本学习综述
映射函数:输入映射和类别映射,可以是线性或非线性转换网络,通常从训练数据学习得到。6.2基于数据增强的范式(DataAugmentationParadigm)使用数据增强:通过生成新的数据或样本特征来解决样本短缺问题,将问题转化为标准的监督学习问题。增强类型:可以是基于规则的或基于生成模型的,利用任务的背景知识。
晚点播客丨光年之外联创再出发,与袁进辉聊 AI Infra 到底做什么
袁进辉:搜推广里全是推理,比如训练了一个点击率预测模型,上线后,其实每个人的查询请求和点击行为,都是经过模型的推理来匹配广告和内容。以前在互联网搜推广里,确实第三方服务商比较少,都是每个企业自己去搞定,但在整个AI行业,第三方服务是一直存在的。过去所谓第一代AI公司就是这样,比如进出机场、地铁刷脸...
美国博士小哥打败女友的 AI 男友!7 页论文让 LLM 降智,训出「负分...
这位美国博士小哥选择用错误数据毒害模型,训成一个妥妥的负分男友,结果,女友果真来找他了……女友爱上AI了,怎么破?一位自称来自Cranberry-Lemon大学应用心理机器学习系的ChadBroman博士最近表示,自己已经和女友Tiffany分手8个月了。虽然很享受单身的自由,但身边没有女友的日子,连玩快艇都少了...
商业银行资本监管改革研究——兼评资本新规实施挑战与应对
内部评级法的基础逻辑是“通过历史预测未来”,银行基于历史数据,包括财务数据、经营数据和违约表现数据等,通过一系列数学分析和统计找出影响客户违约、风险暴露损失程度的主要变量,运用数学方法构建出不同客户组合的PD预测模型、不同风险暴露组合的LGD预测模型。