数据库太慢跑崩的一大罪魁

这个代码不仅更简洁通用(做更多步漏斗只要改A7,而SQL代码要加很多子查询),跑得也更快,使用Snowflake同规格的EC2,只用单台10秒即可完成。其实,去重计数只是个表现,这个问题的实质在于以帐号为单位来切分数据再做处理。按帐号做分组汇总也是类似的运算,而有些汇总并不是简单的SUM/MAX这些,有时要很...

网易游戏如何基于 Apache Doris 构建全新湖仓一体架构

临时的解决办法是跟用户沟通是否可以修改模型,根本的解决方法是升级集群版本,借助1.2版本的MergeOnWrite特性,使得查询能够应用索引。在1.2.4版本中,用户把JavaUDFHiveUDF迁移到Doris中后发现Doris不支持HiveUDF的重载,所以我们把源码做了改造,使其能够支持HiveUDF的重载。大规模集群...

SQL(及存储过程)跑得太慢怎么办?

当数据量较大时,使用SQL(以及存储过程)经常会发生跑得很慢的情况,这就要去优化SQL。优化SQL有一些特定的套路,通常先要查看执行计划来定位SQL慢的原因,然后针对性改写来优化SQL,比如对于连续数值判断可以用between来替代in,select语句指明字段名称,用unionall替代union,把exists改写成join等...

程序员经典面试题,为什么简单的sql查询,会这么慢!

如果想要使用到索引,那么我们只能够statusin(1,2,3)或者status<4。也有可能我们使用索引的时候没有遵循最左匹配原则,例如所以的字段是1,2,3,我们的查询条件只有3,那么这个索引无法被使用到。所以,当我们发现一个sql执行得比较慢的时候,我们可以使用Explain看一下,看看sql语句使用索引的情况。不知道大家...

复杂查询响应速度提升 10+倍,度言软件基于 Apache Doris 实时数仓...

慢SQL查询:对于一些长文本SQL,无法完全展示,可以进一步查看。主要查询统计指标:优化实践提高并发我们考虑在资源给定的情况下,如何最大程度地提高并发。刚开始引入Doris集群的时候,我们尝试对复杂SQL进行压测(SQL层面优化已完成),但始终无法达到预期的压测效果。后来我们尝试调低的值,顺利完成了压测目标。

记一次 MySQL 的慢查分析

这个结果真是太坑爹,而且十分违反直觉(www.e993.com)2024年11月10日。对于慢查询,千万不要想当然,还是多多explain,看看数据库实际上是怎么去执行的。问题修复既然子查询会被改写,那最简单的解决方案就是不用子查询,将内层获取需求id的SQL单独拿出来执行,取到结果后再执行一条SQL去获取实际的数据。大概像这样(下面的语句是不合法的,...

遇到慢SQL该怎么办?(下)

除了修改慢SQL使其能够使用索引,下面还列出了几种比较常见的、可能优化openGauss数据库性能的SQL改写规则:改写规则改写条件改写说明原始查询语句示例改写后语句示例将'selectdistinct*'改写为'select*'所查询表格含唯一列或主键通过确定tuple无重复,去掉distinct,从而省去去重步骤,提升效率...

「mysql优化专题」90%的程序员都二话不说收藏!本专题终极总结!(13)

十、什么是慢查询?如何通过慢查询日志优化?(10)MySQL会记录下查询超过指定时间的语句,我们将超过指定时间的SQL语句查询称为慢查询。mysql中有许许多多的日志,错误日志,通用日志,更新日志,二进制日志(就是用来进行主从复制的日志),慢查询日志等。十一、主从复制面试宝典!面试官都没你懂得多!(11)...

五个数据库性能指标让你轻松玩转DevOps

查询的性能这里可能要用一句比较绕口的话开场:查询的性能低下表现最为明显的地方就是查询本身。这可能是每一个程序员都会遇到的问题,它会导致SQL查询缓慢和数据返回时间过长。那么我们要怎么解决它呢?下面的这些问题是需要注意的:1、选用了更多的数据:查询返回的列太多的话会导致在选择行和检索数据时造成缓慢。

数字价值观察室2024ITValue Summit特别版:让业务用起来,零售数字...

《数字价值观察室2024ITValueSummit特别版》圆桌对话中,钛媒体集团联合创始人、联席CEO、ITValue发起理事刘湘明邀请OceanBaseCEO杨冰和雅戈尔CIO王歆,就“让业务用起来,零售数字化的价值重构及实现”这一主题展开深入对话。王歆分享了雅戈尔在全渠道管理中的挑战和解决方案,如何通过实现货品全渠道、会员全渠道和权益全...