SQL优化 21 连击 + 思维导图

一、查询SQL尽量不要使用select*,而是具体字段1、反例SELECT*FROMuser2、正例SELECTid,username,telFROMuser3、理由节省资源、减少网络开销。可能用到覆盖索引,减少回表,提高查询效率。注意:为节省时间,下面的样例字段都用*代替了。二、避免在where子句中使用or来连接条件1、反例SELECT...

SQL查询效率优化原则

因为首先变长字段存储空间小,可以节省存储空间,其次对于查询来说,在一个相对较小的字段内搜索效率显然要高些。5.2用表变量来代替临时表。如果表变量包含大量数据,请注意索引非常有限(只有主键索引)。在新建临时表时,如果一次性插入数据量很大,那么可以使用selectinto代替createtable,避免造成大量log,以...

手把手教您如何进行数据质量管理

为了使表关系保持一致,主键(每行的唯一值)必须唯一标识表列中的实体。外键(在第二个表中定义但引用第一个表中的主键的字段)必须与外键引用的主键一致。若要维护引用完整性,必须将任何更新反馈到主键。关键洞察其他类型的数据库(包括具有非结构化数据的数据库)需要考虑数据质量。但是,非结构化数据可能具有不同级...

从Clickhouse 到 Apache Doris:有赞业务场景下性能测试与迁移验证

字段类型映射:由于Doris与Clickhouse字段不一致,存在一些特殊要求的转换,例如Key值类型String需要转为Varchar以及设置对应长度、分区字段String需要转为DateV2等;动态分区表的历史分区数确定:因为部份表存在历史分区,需要在建表时指定分区数量,否则插入数据会出现NoPartition异常;Buckets数量确...

数据质量漫谈|key|数据量_网易订阅

这种探查,可以探查出很多问题,比如上游生成某枚举值只有0和1,但探查的时候探查出为空等。3)唯一值探查某些情况下,上游生成某些字段唯一(不一定是主键),也需要对此类情况探查,不然做join时容易出现数据膨胀问题。探查sql一般如下。SELECTCOUNT(item_id)...

产品经理对数据库不必懂太多,这篇总结就够了!

新增表字段:要考虑,到历史数据初始化(www.e993.com)2024年11月4日。比如历史数据全部为空或刷为某一个值;统一规范表名前缀,比如可以定义t_前缀表示类型,f_前缀表示从其他系统获取的。2.命名规范命名规范总的原则是可读性强,容易维护,具体的规范如下:库名,表名,字段名,索引名统一使用小写字母,数字,以下划线分割;...