零样本即可时空预测!港大、华南理工等发布时空大模型UrbanGPT |...

图3:编码时间和位置感知信息的时空提示指令大语言模型的时空指令微调在利用指令微调大型语言模型(LLMs)生成时空预测的文本描述时,面临两大挑战。一方面,时空预测通常基于数值型数据,这些数据的结构和模式与自然语言处理中的语言模型所擅长的语义和句法关系不同。另一方面,LLMs在预训练阶段通常采用多分类损失函数来...

即插即用,快速适配!港大FlashST:简单通用的智慧交通时空预测模型...

图1:FlashST背后的动机:左图展示了不同交通数据集中数据分布的多样性,而右图显示了端到端模型的参数对训练集A过度拟合,未能泛化到测试集B本文贡献(1)本文提出了一个时空上下文提取机制来解决挑战1,该机制能够捕获来自未见数据的上下文信号,有助于适应多种时空场景。(2)本文引入了一个统一的分布映射机制来增强F...

“碳中和” 呼唤时空大数据

遥感反演还可深入裸露土地、城市道路、建筑施工裸地、重点排放单位进行碳排放的动态监测,一旦发现碳排放异常点,可及时进行确认和修复;利用地理网格化生成碳排放热点分布图,支持城市管理者从宏观层面作出更为科学的决策,对碳排放的地点和时间进行合理调节。监测自然资源变化发展森林碳汇是目前重要的碳中和途径之一。通过高...

拳打Gen-2脚踢Pika,谷歌爆肝7个月祭出AI视频大模型!首提时空架构...

研究者应用Lumiere图像到视频生成,以ImagenVideo生成的视频的第一帧为条件,可视化相应的X-T切片。由于其级联设计和时间超分辨率模块,Imagenvideo难以生成全局连贯的重复运动,而这些模块无法跨时间窗口,一致地解决混叠模糊问题研究人员的框架由基本模型和空间超分辨率(SSR)模型组成。如上图3b所示,研究人员的基础模型以...

万字长文解构中国如何复刻 Sora:模型架构、参数规模、数据规模...

从过去的语音、图片、视频模型的数据规模来计算语音:语音处理的经验表明,基线数据要达到100kh,Tokenize后的Token数量大约在一百亿(10B)左右。这与亚马逊发布的“BASETTS:Lessonsfrombuildingabillion-parameterText-to-Speechmodelon100Khoursofdata”报告基本一致。如果要能生成世界多个语言的语...

人工智能行业深度报告:从Sora看多模态大模型发展

2.1Sora模型亮点一：直接在原始图片的大小上训练过去：往往将视频或者图片压缩到固定大小（比如4秒钟、分辨率256*256）(www.e993.com)2024年11月25日。Sora：直接在原始素材规格上训练。2.1Sora模型亮点二：为视频训练素材生成详细字幕方法：Re-captioningtechnique字幕自动生成。首先训练一个能生成详细描述的标注模型，然后用它为训练集中的...

CV最新论文|1月24日 arXiv更新论文合集

SGTR+：使用Transformer生成端到端场景图SGTR+:End-to-endSceneGraphGenerationwithTransformer摘要：场景图生成（SGG）由于其构图特性，仍然是一项具有挑战性的视觉理解任务。以前的大多数工作都采用自下而上、两阶段或基于点的、一阶段的方法，这往往存在时间复杂度高或设计欠佳的问题。在这项工作中...

建议收藏!100篇必读论文|大模型月报(2024.04)

在单概念学习阶段,他们采用多模态图像编码器和高效的概念编码技术,为每个概念学习一个简明且具有辨别力的表征;在多概念整合阶段,他们使用边界框来定义交叉注意图中每个概念的生成区域。这种方法可以在指定区域内创建单个概念,从而促进多概念图像的形成。这一策略不仅提高了概念的保真度,还降低了额外的推理成本。在定性...

学术交流 | 延安新区地面沉降时空演化特征时序InSAR监测与分析

设有按照一定时间序列(t0,t1…tN)获取覆盖同一区域的N+1幅SAR影像,任意选取一幅影像作为主影像进行配准,设置合适的时空基线阈值进行干涉对组合,再分别对每个组合影像对进行差分干涉处理,共生成M幅差分干涉图,此时M满足:假设第j幅已经解缠的干涉图是由tA和tB时刻(tB>tA)获取的两期SAR影像进行差分干涉得到,那么...

学术| 刘经南院士:海洋时空基准网的进展与趋势

图5超短基线定位系统长基线水声定位系统将时空基准布设在海底,基准间距为几公里到几十公里的量级,测量目标声源到各基准的距离,确定目标位置。短基线水声定位系统将时空基准布设于海面平台的底部,基准间距一般为几米到几十米,利用目标的声信号到达海面平台各基准的时间差,解算目标的方位和距离。