浅谈SQL优化小技巧
因为首先变长字段存储空间小,可以节省存储空间,其次对于查询来说,在一个相对较小的字段内搜索效率显然要高些。14、查询SQL尽量不要使用select*,而是具体字段最好不要使用返回所有:select*fromt,用具体的字段列表代替“*”,不要返回用不到的任何字段。select*的弊端:(1)增加很多不必要的消耗...
PostgreSQL技术大讲堂 - 第31讲:SQL调优技巧
1、先按照建立在empno字段上的索引去emp表查询empno为7499的员工信息。2、再根据7499所在的部门号(deptno)去dept表查询该部门的详细信息,而且dept表的deptno字段上应该有索引。3、最后使用嵌套循环连接方式处理数据。建议:“如果是多表连接sql语句,注意驱动表的连接字段是否需要创建索引”。在上例中,被驱动表...
手把手教您如何进行数据质量管理
为了使表关系保持一致,主键(每行的唯一值)必须唯一标识表列中的实体。外键(在第二个表中定义但引用第一个表中的主键的字段)必须与外键引用的主键一致。若要维护引用完整性,必须将任何更新反馈到主键。关键洞察其他类型的数据库(包括具有非结构化数据的数据库)需要考虑数据质量。但是,非结构化数据可能具有不同级...
如何基于Apache Doris构建新一代日志分析平台|解决方案
相比之下,Doris在存储上进行了以下优化:去掉正排,缩减了30%的索引数据量;采用列式存储和ZSTD压缩算法,压缩比可达到5-10倍,远高于Elasticsearch的1.5倍;日志数据中冷数据访问频率很低,Doris冷热分层功能可以将超过定义时间段的日志自动存储到更低的对象存储中,冷数据的存储成本可降低70%以上。
一份非常完整的 MySQL 规范文档
3、所有表和字段都需要添加注释使用comment从句添加表和列的备注从一开始就进行数据字典的维护。4、尽量控制单表数据量的大小,建议控制在500万以内500万并不是MySQL数据库的限制,过大会造成修改表结构,备份,恢复都会有很大的问题;可以用历史数据归档(应用于日志数据),分库分表(应用于业务数据)等手段来控制数...
从Clickhouse 到 Apache Doris:有赞业务场景下性能测试与迁移验证
Unique模型的Sequence设置:在导入时可以指定Sequence列导入顺序,解决了导入顺序无法确定的问题,有效保证数据导入过程中的有序性(www.e993.com)2024年9月10日。与建表语句改写工具类似,SQL查询语句改写能够自动将Clickhouse查询语句转成Doris查询语句,主要为了双跑进行数据准确性和稳定性验证。在改写过程中,我们梳理了以下注意事项:...
小米A/B 实验场景基于 Apache Doris 的查询提速优化实践|最佳实践
因此需要在聚合表建模的过程中取得一个平衡。我们的具体做法是:拉取历史(近半年)查询日志进行分析,根据维度字段的使用频次排序确认进入聚合表的优先级。在此基础上得出聚合表的覆盖率和数据量随着建模字段增加而变化的曲线,如下图所示:其中覆盖率根据历史请求日志代入聚合表计算得出。我们的原则是:针对OLAP查询...
Mybatis的这些坑,把我坑惨了!
案例一:作为新手,在此记下刚踩的一个坑,(踩踩更健康==踩过痛过才不会再次错),写了一个sql语句用到两张表,两张表中有两个字段名字是一样的都是Time和Content,然后要查询这两张表的这两个字段都要查出来放到一个dto中,dto如下图所示,sql语句如下,...