转转高效改表平台的演进之路
[2024-02-0614:15:16][警告][192.168.168.1][analysis/f_get_alter_sql.sh][f_get_alter_sql:389][sup_add_unique_key=1'-K1'本次操作允许添加唯一索引][2024-02-0614:15:16][提示][192.168.168.1][check/f_check_osc_or_alter.sh][f_c...
TiDB + ES:转转业财系统亿级数据存储优化实践
方案一:分库分表优点将数据分散到多个数据库和表中,从而减轻单一数据库的负载压力。这样可以提高数据库的读写性能和响应速度,降低查询延迟。拆分的表结构相同,程序改造较少。缺点需要提前规划好分片规则,一旦定好规则就难以移动,扩展性比较差。拆分规则很难抽象出来。跨库事务问题。适用场景数据库面临高...
2022年中国数据库研究报告
目前分布式数据库的技术路线分为三类:分库分表+中间件方案、共享存储分布式数据库、去中心化的分布式数据库。当下分布式数据库市场产品繁多,但其技术特性逐渐趋同,从两个角度分析:其一,系统架构。存储采用开源或者自研内核,用一主多从的数据副本保证数据完整性,计算通过SQL语句解析分发和结果汇聚,管控用于保证各模块的高可...
Apache Iceberg在小红书的探索与实践
在此我们做了一个Sensor,其原理是Flink在写的时候将Watermark写进Iceberg表的TableProperty。下游的离线调度就可以使用我们基于Airflow的WatermarkSensor去定期的轮询HMS,查询Watermark是否已经达到分区时间,条件满足之后就会触发Spark的调度。第二个问题是Adhoc查询Adhoc查询使用了Kyuubi这样一个多租户的SQLGateway通过...
开源云数据库一大创新,Oracle MDS和HeatWave能实现降维打击吗?
第一是快速加列。在应用推出新版本的时候,很多时候都需要加列,如果表很大,这个时间会很长,而且还不可避免地对业务带来一定的影响,特别是高并发的系统。而8.0的快速加列只需要修改元数据信息,并且是一个瞬时的操作;第二是隐藏列的功能。当一个列被指定为隐藏列的时候,如果不显式指定是不会被查询到的,...
深入解读腾讯云数据库自研内核
TXSQL是腾讯云数据库团队自研MySQL内核分支,100%兼容原生MySQL版本,针对企业级的重要场景自研众多核心特性,如企业级透明数据加密、审计、线程池、热点更新保护、SQL限流、快速加列等功能,大幅提升了云数据库的性能和稳定性,保证线上稳定性的同时,满足业务对数据库的各种需求(www.e993.com)2024年9月17日。
MySQL 8.0使用三周后,我再也看不上5.7版本了
在MySQL8.0版本中,不论表的数据量有多大,加列操作都能瞬间完成,这就是内核原生的快速加列(InstantAddColumn)功能。BTW,这个功能是腾讯工程师陈福荣,梁飞龙开发并提交给官方。单就这一个功能,就足以吹嘘一辈子。让我们一起为这两位中国工程师点赞。
大盘点!华为云数据库服务2019年上半年新增这些强大功能
MySQL5.7版本支持快速加列功能,加列耗时小于0.05秒,不增加磁盘额外开销,节省表大小一倍磁盘空间。(7)MySQL秒杀场景优化针对电商秒杀场景,在超高并发访问时,数据库仍维持稳定高吞吐能力;且无需调整客户业务。2、SQLServer截至目前,华为云SQLServer提供了业内最全的版本,支持范围覆盖2008、2012、2014、2016...