如何设计真正的实时数据湖?

数据量大:车联网中多用Kafka来实现实时数据流处理和消息传递,每秒数据量可达数十万行,单条信息长且层次复杂,结构不可预知,传统数据库技术和数仓技术都难以负荷;传统数仓数据融合难:通常情况下,车联网数据是指由车上传感器产生的实时数据,如位置信息、车辆状态等,而传统的OLAP数据仓库主要用于存储和管理业务数据...

YashanDB V23.2 LTS正式发布

V23.2LTS同时配套全新的开发者工具YDCV1.0(YashanDBDeveloperCenter,YDC),用户可通过YDC可视化地管理数据库中的表、视图、函数等数据库对象。具有丰富的功能和工具,支持数据库连接管理、SQL编辑及运行、智能IDE、图形化对象管理、执行记录、日志、结果集显示以及PL/SQLDUBUG等。强化开源产品化应用能力支持sql...

国有大型银行主机数据库向GoldenDB分布式数据库迁移实践

DTS工具远程调用MQ接口,将当前灾备系统中MQ内的消息旁路一份出来,解析并封装成DTS数据同步工具的格式,同步到工具组件内存储;DTS工具将存储的记录按事务封装,并对事务之间的关系进行分析与解耦,并发地向目标端GoldenDB数据库写入,写入到目标端的内容为标准DML语句。该方案需要解决的主要问题包括:一是DTS工具需要解析...

异构跨库数据同步还在用Datax?来看看这几个开源的同步方案

目前，异构数据ETL同步，一般基于两种方式：查询和日志，基于查询做全量同步，基于日志做增量同步，日志方式延迟会比较小，查询来做增量，延迟会比较大，查询频率越高，对数据库性能也会有影响。随着各种热门技术的兴起，在Github中也有越来越多的解决方案，我们可以根据自己的实际情况选择合适自己的工具。

全面提升体系化数据管理能力 | OceanBase 发布全新3.X工具家族

OceanBase工具体系已经提供了包括迁移评估、数据同步、数据集成、开发调试、监控运维等一站式图形化能力。同时,持续加强企业级管理能力,保持接口开放,切实帮助企业高效、稳定、安全、便捷的使用OceanBase数据库。在OceanBaseServer3.2发布后不久,作为连接数据库用户和数据库内核最重要的生态工具产品,OceanBase3.X工...

MaxCompute命令行工具——odpscmd的操作使用

2.数据环境准备对于使用odpscmd客户端的同学而言,往往会深度地使用shell以及一些开源的工具进行配合(www.e993.com)2024年11月20日。这里举个例子,在业务数据库中有一张日常的业务表,可能存储了日常业务点击的日志以及新增的订单数据,那么常见场景是需要将数据同步到数据仓库,这个过程需要一些数据同步工具周期性地将数据加载到数据仓库的表里面,而且往往...

Zabbix创始人提前揭秘Zabbix7.0新功能!

一同步数据收集我们正在引入的新功能具有重要意义。我们正在为(如Zabbixproxy和Zabbixserver)所有进程进行同步数据收集。您可能知道Zabbix是一个多处理器进程应用程序。如果你想运行更多的轮询器,Zabbix将运行更多的进程,一个轮询器进程,另一个轮询器进程,一个捕捉器,另一个捕捉器,这么多不同的进程。我们正在从每...

OceanBase CEO 杨冰:2.8万字总结金融核心系统数据库升级路径与...

其次,大型金融机构需要整体升级的系统较多,迁移的数据量也较大,所以重点关注整套迁移方案的安全性和改造成本,数据库针对原数据库的高度兼容以及完整的迁移工具是大型金融机构最关心的能力之一。最后,一般大型金融机构的基础设施也比较复杂和多样化,要求数据库厂商能基本兼容所有主流的国产芯片,同时可以多芯片混部,服务器上...

手把手教您如何进行数据质量管理

数据是数据驱动型组织决策的基础。因此,如果组织的基础数据出现问题,这可能会对许多下游业务功能产生多米诺骨牌效应。让我们用一个例子来说明数据质量差的多米诺骨牌效应。组织X希望将其数据迁移到单一平台SystemY。迁移后,很明显,从该平台生成的报告不一致,并且经常看起来是错误的。这有什么影响?

建立保存人类书写记忆的文本库

记者:汉字字形数据库对汉字研究和字典编纂的支持作用主要体现在哪些方面?臧克和:没有各类文字的大型数据集平台体系,要在一定时间内完成如此大规模的多功能工具类字书的加工集成,几乎难以设想。比如,下面这样几个层面的关系就比较重要:面对海量的个性化书写样本,在字样选择层次上,工具书所呈现的不同时期、不同材质的...