数据价值在线化,TiDB 在企查查数据中台的应用
企查查将TiDB的部分数据同步到ES系统中,为ES系统提供数据来源,供一些检索场景的应用使用。对于离线数据,企查查使用Chunjun/Seatunnel同步工具将其同步到Hive离线数据平台中,供下游的离线数据平台跑批。目前,企查查正在调研TiFlash的功能,计划今年将部分复杂的离线查询从Hive迁移到TiDB中,直接从TiDB...
数据价值在线化丨TiDB 在企查查数据中台的应用及 v7.1 版本升级体验
我们将TiDB的部分数据同步到ES系统中,为ES系统提供数据来源,供一些检索场景的应用使用。对于离线数据,我们使用Chunjun/Seatunnel同步工具将其同步到Hive离线数据平台中,供下游的离线数据平台跑批。目前,我们正在调研TiFlash的功能,计划今年将部分复杂的离线查询从Hive迁移到TiDB中,直接从TiDB中...
2023前端技术盘点与2024技术展望
●在前端基础建设领域,Rust在前端的影响力越来越大:基于Rust的构建工具Rspack和代码检查工具Oxlint正式发布、Vite官方也正式宣布计划使用Rust重构Vite,替换掉原有的Esbuild和Rollup。此外,前端全能工具包Bun正式发布1.0版本,成为JavaScript年度明星项目。●在低代码领域,低代码社区建设...
人大金仓三大兼容:MySQL迁移无忧
支持多种复杂迁移任务配置,满足多种数据迁移条件,实现多样化迁移需求,使用多线程异步读写机制,大大提升迁移效率,并提供详细的MySQL迁移报告。MySQLWorkbench是MySQL官方提供的数据库管理工具。KingbaseES数据库自身也提供了功能强大的数据库管理工具KStudio,可为数据库开发人员、DBA提供高效、高质的数据库开发、调试、维...
elasticsearch-datatran v6.2.9 发布,Elasticsearch 高效数据同步...
elasticsearch-datatranv6.2.9已经发布,这是一个Elasticsearch高效数据同步工具。Elasticsearch-datatran由bboss开源的数据同步迁移工具,支持在Elasticsearch、关系数据库(mysql,oracle,db2,sqlserver、达梦等)、Mongodb、HBase、Hive、Kafka、文本文件、SFTP/FTP多种数据源之间进行海量数据同步;支持日志文件实时增...
数据同步工具 Elasticsearch-datatran v6.2.9 发布
数据同步工具Elasticsearch-datatran6.2.9发布,Elasticsearch-datatran由bboss开源的数据同步迁移工具,支持在Elasticsearch、关系数据库(mysql,oracle,db2,sqlserver、达梦等)、Mongodb、HBase、Hive、Kafka、文本文件、SFTP/FTP多种数据源之间进行海量数据同步;支持日志文件实时增量采集到kafka/elasticsearch/database(www.e993.com)2024年11月26日。
数说技术 | 数据处理方法:es节点连接超时分析
近期,DataStory为提升数据采集流畅性,对es集群进行版本升级、索引分库、冷热分离、读写分离等一系列性能优化,同时升级相关业务和平台侧,目前,DataStory搭建两套es集群进行数据迁移和数据双写等操作,本文将对实际优化过程中所遇到的es节点连接超时问题展开分析。
科研工具 | 博士毕业常用的40个微观数据库
联合国商品贸易统计数据库(UN)全球最大、最权威的国际商品贸易数据型资源每年超过200个国家和地区提供其官方年度商品贸易数据涵盖全球99%的商品贸易收集超过6000种商品、数据回溯至1962年各国上报的数据均转换成统一格式。网站链接:httpcomtrade.un/...
洞悉数据库迷局,2022金仓创新产品发布会召开
ATS系统集成的国产化金仓数据库升级方案，在金仓数据迁移工具的支持下，能够实现数据无损迁移，数据库无感换代。当数据库主机发生故障时，集群自动顺序切换至备用节点，提升系统的故障自恢复能力，极大地降低了数据库故障在轨道交通线路实际运营带来的风险。金融平台天生对数据库有着更高的要求。中电金信软件有限公司供应链...
客户心声|福建海峡银行TDSQL国产分布式数据库应用实践
最后端为数据备份和交换区,涉及到数据交换和备份存储的HDFS集群和异构数据迁移工具DBbridge、慢日志收集和分析的ES日志服务器。TDSQL部署架构海峡银行TDSQL生产环境是基于两地三中心架构(福州主中心、福州同城灾备中心以及厦门异地灾备中)进行部署,分别构建两个TDSQL集群,其中福州集群纳管是生产中心和同城灾备中心两个...