TiDB + ES:转转业财系统亿级数据存储优化实践

面对系统数据量大、慢查询多等挑战,转转业财采取了TiDB方案优化数据量问题,同时引入Elasticsearch(ES)解决慢查询难题。实践表明,通过底层数据存储切换和ES接入,系统成功突破了存储瓶颈,显著提升了查询效率和响应速度,为大规模数据处理提供了有效的优化路径。本文作者:戴美琪,转转交易中台研发工程师背景1.1现...

热门赛道 | 向量数据库:数据存储的智能革命

Milvus是一款在GitHub上拥有两万多星的开源向量数据库,专为向量的快速查询检索而设计,能够对万亿规模的向量数据创建索引,具备高性能、高可扩展性等特点,数据可持久化存储在本地或者支持s3协议的对象存储,且支持数据分区;除了向量,Milvus还支持布尔值、整数、浮点数等数据类型,可更好地存储表达业务数据的特性。在Ucloud...

「突破卡脖子」中国数据库管理系统的崛起之路

全面兼容性：支持多种数据库协议和标准，兼容性极强，便于用户从传统数据库系统无缝迁移到KingbaseES。高级数据保护：提供多层次的数据保护机制，包括数据加密、访问控制、数据备份等，多方位保障数据安全。KingbaseES采用高效的内存计算与持久化存储相结合的架构设计，确保数据的高速读取和写入，同时具备强大的事务处理能力。

数据库半年度盘点:20+国内外数据库重大更新及技术精要

上半年,ChatGPT的热潮也影响到了数据库行业,许多国内数据库产品开始集成自主SQL生成和智能优化等功能,更有头部大厂直接将AI命名为产品后缀,加速提升AI与数据库的结合,相信后续这一能力将是数据库发展的新的竞争热点;在云产品方面,云原生与Serverless仍然是各家追逐的目标,更为灵活、更具弹性的云产品不断涌现;在数据分...

历时5 个月从零到一研发一款数据库产品,这些坑他们已经踩过了 |...

我们的团队由来自不同背景的成员构成,主要来自于云存储和数据库两个部门,团队中既有精通分布式存储引擎的专家,也有非常了解数据库产品研发的开发人员,是一个人才组合很平衡的团队。InfoQ:要将两个系统(数据库和检索引擎)融合在一起,你们内部做了哪些优化和迭代?

中远海运、马士基、达飞、地中海航运、赫伯罗特、海洋网联ONE...

作为该项目的一部分,SDARI将准备氨双燃料船舶的规范和设计文件,而英国LR船级社将验证该设计是否符合有关使用氨作为船用燃料的安全标准和规则(www.e993.com)2024年11月23日。MAN-ES将为发动机设计、氨燃料供应和减排系统提供数据和支持。赫伯罗特2023年7月,赫伯罗特联手全球最大独立集装箱船船东SeaspanCorporation,共同与MANEnergySolutions公司...

大模型黑盒、P0 级事故,可观测性如何保住程序员的饭碗

在存算分离上,采用三层池化的存算分离架构,包括算子Native、冷热数据自动分级处理;采用交互式OLAP:支持高性能分析,支持资源弹性伸缩。构建了智能化数据生产线,包括全栈数据AI4Data,实现数据治理全流程智能化;一键实时数据湖集成,实现一站式任务管理,AutoETL自动作业,提升集成效率;智能运维,通过血缘分析,实现数据...

2023前端技术盘点与2024技术展望

●2023年12月12日,基于Rust的代码检查工具Oxlint正式发布,Shopify报告称其比ESLint快50-100倍,并可以随CPU核心数量不断扩展。Rust因为其出色的性能,在编译、打包构建等前端基建的方向所带来的性能数据提升令人震撼。在JavaScript性能提升挖掘缓慢的今天,不少前端基础建设框架/库的开...

...其定位为大数据应用支撑软件,为大数据应用提供高效的数据存储...

公司的“海贝搜索数据库”(以下简称海贝)是一款从内核到系统完全国产自研的搜索型数据库,其定位为大数据应用支撑软件,为大数据应用提供高效的数据存储、信息检索、统计分析等数据管理服务,支持几乎所有类型的数据,包括文本、数字、地理空间、图片等各种结构化、半结构化和非结构化数据。海贝不仅集成了众多开源检索系统不...

国产数据库到底行不行?实测金仓KingbaseES两地三中心

此次金仓KingbaseES两地三中心集群灾难恢复演练采用5个数据库节点的模式,将生产中心、同城灾备中心放置于成都相隔30km机房,异地灾备中心放置于北京机房(成都至北京的直线距离约为1500km,绝大多数用户的灾备系统设计的灾备距离不会超过此值,最大限度地覆盖了客户的灾备场景)。服务器节点信息如下图:...