用时序数据库 DolphinDB 搭建一套轻量化工业试验平台解决方案
在以下内容中,我们将介绍DolphinDB在SQL查询、数据分析、数据导出和备份、数据导入和备份恢复、关系模型、数据回放、波形录制、存储过程、状态保持计算、时间序列聚合引擎和磁盘查询等方面所提供的丰富功能。以下各节中的代码仅展示了实现各项功能的核心语句,详细的实现过程请参考文章末尾的完整示例代码。有关Dolphi...
SQL慢查询在Greenplum/Deepgreen中的定位方法
当我们的查询里面有很多连接操作(JOIN)时,要确保执行计划选择了一个最优连接顺序。拥有大量返回数据的连接应该尽早完成,以保证我们为上层操作返回更少的行。如果执行计划没有选择最佳的连接顺序,我们可以设置参数join_collapse_limit=1,然后在SQL语句中使用明确的JOIN语法强迫执行计划按照特定的执行顺序执行。另外,我们...
深度分享:OLAP CUBE、空间换时间、MDX(上)
第二种,比如方式B返回的查询汇总之后的结果,数据量很小,前端基本上不用做什么渲染数据就出来了。方式A的时间损耗在哪里呢?不是在数据库服务器查询上,因为SQL可能很简单,时间的损耗大部分是在从服务器端往浏览器通过HTTP连接返回、IO开销上,以及前端函数聚合汇总、解析和渲染上。方式B的时间损耗在查询阶段,因为S...
MySQL 设计数据表时,时间类型 datetime、bigint、timestamp,你会...
通过datetime类型查询:耗时:0.171通过timestamp类型查询耗时:0.351通过bigint类型查询耗时:0.130s结论在InnoDB存储引擎下,通过时间范围查找,性能bigint>datetime>timestampsql分组速率测试使用bigint进行分组会每条数据进行一个分组,如果将bigint做一个转化在去分组就没有比较的意义了,转化也是需要时间...
查询速度提升10倍!StarRocks在格洛博电商系统的应用实践
1.SQL查询GROUPBY:由于MySQL的sql_mode去掉了ONLY_FULL_GROUP_BY,转移StarRocks测试过程中存在查询报错“SELECTlistisnotinGROUPBYclauseandcontainsnonaggregatedcolumn”,修改已有SQL即可解决;2.varchar长度问题:MySQL的长度以字符数计算,而StarRocks以字节计算,处理方案则是在生成创建StarRocks的SQL时...
mybatis查询时间比在sql server中查询慢很多
而直接将sql以及参数拷贝到Navicat中执行，非常快(www.e993.com)2024年11月26日。根据这个情况，网上一查，有了不小的发现。网友说，在mybatis中，如果有时间参数，并且是用#传参时会非常的慢，而使用$传参时就不会有问题。经过尝试，果然没有这个问题了。具体原因，还是没有找出来，如果哪位大佬知道话可以留言告诉我。数据表字段类型...
阿里P8架构师谈:MySQL数据库的索引原理、与慢SQL优化的5大原则
慢查询优化基本步骤0.先运行看看是否真的很慢,注意设置SQL_NO_CACHE1.where条件单表查,锁定最小返回记录表。这句话的意思是把查询语句的where都应用到表中返回的记录数最小的表开始查起,单表每个字段分别查询,看哪个字段的区分度最高2.explain查看执行计划,是否与1预期一致(从锁定记录较少的表开始查询)...
Oracle SQL 性能优化技巧
当在SQL语句中连接多个表时,请使用表的别名并把别名前缀于每个Column上。这样一来,就可以减少解析的时间并减少那些由Column歧义引起的语法错误。18.用EXISTS替代IN在许多基于基础表的查询中,为了满足一个条件,往往需要对另一个表进行联接。在这种情况下,使用EXISTS(或NOTEXISTS)通常将提高查询的效率。
亿级流量场景下平滑扩容:TDSQL水平拓展方案实践
整个删除过程中,我们做了分区屏蔽,同时会在SQL引擎层会做SQL的改写,来保证当我们在底层虽然有冗余数据,但用户来查的时候即使是一个全扫描,我们也能保证不会多一些数据。可以看到整个扩容流程,数据同步,还有校验和删除冗余这几个阶段,时间耗费相对来说会比较长,因为要建同步的话,如果数据量比较大,整个拷贝镜像或者...
数据新纪元:AI 时代企业数据分析团队的构建与精进 | 极客时间企业版
徐小磊:我们的AIGC大模型在数据分析领域的实践有几方面。第一个场景是大模型辅助代码生成,帮助我们写SQL、Python,已经很成熟了。第二个场景是我们的一个产品叫智能SQL,可以用自然语言来查询数据,这是开放给业务侧和数据分析师的。我认为大模型接下来的重点发展方向一定是在企业的私有化部署中,如何吃透和理解...