高性能亿级录制列表查询系统设计实践
数据库的server层会调用innodb的接口,由于这次的offset=6000000,innodb会在非主键索引中获取到第0到(6000000+30)条数据,返回给server层之后根据offset的值挨个抛弃,最后只留下最后面的30条,放到server层的结果集中,返回给业务。这样看起来就非常的愚蠢。坏事不单只如此,因为这里命中的索引并不是主键索引,而是非主...
1秒内审核3万条SQL:如何用规范识别与解决数据库风险?
运维变更SQL包括查询、结构变更、数据变更等,它们的编写与执行对数据库的运行至关重要。而业务系统SQL,则是开发者在应用代码中嵌入的,主要是查询和DML,它们中的低效查询,俗称“烂SQL”或“慢SQL”,对数据库性能有直接影响。尽管本文不会深入讨论,但技术架构的选择、硬件、网络和部署策略等因素也对保障...
为什么又造了个新词 Data Warebase:我看到了 AI 时代数据平台应当...
数据产品大体上可分为关系型数据库、NoSQL数据库、搜索引擎、向量搜索和数据仓库等几类。“DataWarebase”这一术语融合了“数据仓库(DataWarehouse)”和“数据库(Database)”两词,用以概述一种集合了上述多类产品功能的产品。这类产品能同时满足业务对不同数据存储和计算能力的需求。此时一个疑问自然浮现:这...
【金猿技术展】时序数据库表结构改变处理方法——高效处理PB级...
物联网、工业互联网等时序大数据具备一系列的特点,针对这些特点,涛思数据充分使用自研专利“一种时序数据库表结构改变处理方法”等多个专利,研发了时序数据库TDengine且将其完全开源。通过“一个数据采集点一张表”与“超级表”概念、创新的存储引擎等创新点,让数据的写入、查询和存储效率都得到极大的提升。且,2022...
数据库表结构变更前合理索引设计的重要性-爱可生
在数据库表结构变更发布之前,我们会和开发沟通索引设计是否合理,发现部分开发同学对于索引设计还是有一些知识盲区。本文把常见的案例记录下来,做个分析,抛砖引玉。区分度和过滤性先看一段和开发同学日常sqlreview的对话:上面的对话其实在工作中比较常见(同时也说明我们培训没有到位T_T),这样的想法会导致开发...
让我们用 SQL 开发一个图形数据库吧!
图形数据库(GraphDatabase)是NoSQL数据库的一种,使用图结构来存储、表示、处理和查询数据(www.e993.com)2024年10月18日。图是节点(Node)或者顶点(Vertice)和连接(Link)或者边缘(Edge)的集合。节点代表了一个实体(人、物体等),连接代表了两个节点之间的联系(好友、爱好等)。图形数据库非常适合社交关系分析、金融欺诈检测、知识图谱等领域,Ne...
数据库事务一致性实现上的各种细节,你注意到了吗?|DB·洞见
3.1TDSQL的架构TDSQL的目标是让业务能够像使用单机数据库一样使用分布式数据库。其功能特性主要有MySQL完全兼容、全局一致性、扩缩容业务无感知、完全原生的在线表结构变更,其存储引擎为分布式的KV系统,提供事务和自动扩缩容能力。TDSQL是存储计算分离架构,有三个组件,分别是计算层SQLEngine,分布式存储层TDStore、元...
三个实用的SQL Server数据库字典SQL语句
1.SQLServer2000数据库字典(表结构.sql)SELECTTOP100PERCENT--a.id,CASEWHENa.colorder=1THENd.nameELSE''ENDAS表名,CASEWHENa.colorder=1THENisnull(f.value,'')ELSE''ENDAS表说明,a.colorderAS字段序号,a.nameAS字段名,CASEWHENCOLUMNPROPERT...
一文读懂火山引擎云数据库产品及选型
文档型NoSQL数据库使用的是一种半结构化的数据模型(json或xml格式),与关系型数据库相比,文档型NoSQL是没有Schema的,由于没有Schema的特性,可以随意地存储与读取数据,因此文档型NoSQL数据库解决了关系型数据库表结构扩展不方便的问题。
《数据安全法》语境下看三代动态脱敏技术的演进
无需提前配置复杂的脱敏规则,无需梳理详细的目标库及表结构,只需指定待脱敏的数据类型,即可开展工作,降低用户的学习成本和使用成本。2)劣势效率低下结果集改写技术需要在脱敏设备处逐行进行数据改写,效率很低,且有可能成为业务流的性能瓶颈。无法精准脱敏...