河钢数字申请基于hudi的数据采集处理专利,能提高数据处理时效性

专利摘要显示,本申请适用于大数据采集与处理技术领域,提供了一种基于hudi的数据采集处理系统、方法、电子设备及介质,该系统包括数据采集模块、湖仓一体处理模块和数据应用模块;数据采集模块,用于采集多个业务数据库中的业务数据,并将业务数据增量同步至湖仓一体处理模块中;其中,业务数据包括离线数据和实时数据;湖仓一体处...

查询效率提升近 200 倍!AntDB 数据库助力省级医保信息平台建设

数据中台主要由MPP数据库和离线数仓构成,其中MPP(MassivelyParallelProcessing大规模并行处理))数据库由AntDB团队承建,并负责与原有库进行数据与业务对接。图1:医疗行业信息系统数据平台架构图亚信安慧承建的MPP数据库主要包括汇聚库和应用库,汇聚库负责从生产中心同步数据进行预处理,随后离线数仓对生产数...

建设银行申请消息处理相关专利,降低数据库访问压力,提高组件离线...

金融界2024年7月2日消息,天眼查知识产权信息显示,中国建设银行股份有限公司申请一项名为“消息处理方法、装置、服务端、用户端、系统、介质及产品“的专利,公开号CN202410484687.4,申请日期为2024年4月。专利摘要显示,本发明公开了一种消息处理方法、装置、服务端、用户端、系统、介质及产品。本发明涉及数据处理技术...

开源大数据 OLAP 的思考及最佳实践

经过处理后的数据直接落地到OLAP引擎,以支持快速数据分析。离线部分主要包括ODS/DWD等分层,采用传统的Hive技术进行数据处理。然而,这种架构中实时与离线数据处理相对独立,因此数据对齐成为一个常见问题。为解决这一问题,近年来兴起了近实时数据湖架构,如Delta、Iceberg、Hudi等。这些新型数据存储格式旨在...

寒武纪-U取得数据处理专利,可提前实现人工智能算法模型与处理器间...

金融界2024年1月11日消息,据国家知识产权局公告,中科寒武纪科技股份有限公司取得一项名为“一种数据处理方法及相关产品“,授权公告号CN111832739B,申请日期为2019年5月。专利摘要显示,

性能提升 300%|分秒帧基于云器 Lakehouse 升级一体化数据平台

??架构升级:合并实时与离线数据处理链路,形成全链路实时化,减少复杂链路造成的数据冗余;??存储升级数仓为湖仓一体,满足面向未来的半非结构化数据存储以及AI能力建设;??整体降低成本:目标将运维成本降低30%,存储计算成本降低20%;??从自建到托管:公司战略上倾向不再自建数据平台,而是寻找托管型产品...

平安银行申请数据离线导出专利,可兼容实时下载和离线下载两种数据...

本申请能够可兼容实时下载和离线下载两种数据导出方式。同时,本申请不需要对所有的处理过程进行二次开发,可提高开发效和降低代码差异。

智能汽车如何进行数据闭环?

01数据闭环是智能汽车的关键技术,通过AI大模型等新技术对数据挖掘、自动标注、模型训练、仿真测试进行升级。02数据闭环的主要流程包括数据采集、数据传输、数据存储、数据预处理、数据清洗、自动标注、模型训练、仿真测试、车端验证、数据回灌。03其中,多模态大模型技术通过融合视觉、语言和传感器数据,生成逼真的虚拟环境...

StarRocks 赋能数据湖:实时分析与查询的终极指南

StarRocks+Paimon解决方案:汽车之家选择ApachePaimon作为新的数据湖解决方案,结合Flink实现流批一体处理。Paimon的简洁健壮架构、增量且有序的数据读取、部分更新等能力,满足了流式湖仓的需求。通过Paimon存储实时与离线数据,降低了开发和维护难度,提高了数据新鲜度。同时,利用StarRocks的物化视图和SortCompaction功能优化...

镜舟科技与西南证券达成战略合作,以数据赋能金融决策新高度

1.数据导入与处理:数据通过实时和离线的方式导入StarRocks,确保了数据处理的灵活性和实时性。2.宽表与窄表的划分:在StarRocks中根据业务逻辑进行数据表的合理划分,优化了数据结构,提高了查询效率。相较于之前,升级后的系统架构更简洁、业务赋能的范围更广、查询与分析性能更加优秀。