手把手教您如何进行数据质量管理
为了使表关系保持一致,主键(每行的唯一值)必须唯一标识表列中的实体。外键(在第二个表中定义但引用第一个表中的主键的字段)必须与外键引用的主键一致。若要维护引用完整性,必须将任何更新反馈到主键。关键洞察其他类型的数据库(包括具有非结构化数据的数据库)需要考虑数据质量。但是,非结构化数据可能具有不同级...
SQL语句关联查询爆了一个字段不明确BUG!原来添加个别名就能解决
方法一在定义结果列的SQL语句中为使用了相同表字段的字段添加别名这样之后使用include标签引用时就是带别名引用方法二使用include标签的property属性,为include标签中的字段添加别名使用占位符参数化的,占位符也可以被用在refid属性里.不可以使用此处的参数不是调用时传进来的,不同的属性值通过包含的实例而变化...
SQL查询效率优化原则
因为首先变长字段存储空间小,可以节省存储空间,其次对于查询来说,在一个相对较小的字段内搜索效率显然要高些。5.2用表变量来代替临时表。如果表变量包含大量数据,请注意索引非常有限(只有主键索引)。在新建临时表时,如果一次性插入数据量很大,那么可以使用selectinto代替createtable,避免造成大量log,以...
必存干货|一份必知必会的MySQL规范
1、所有表必须使用Innodb存储引擎没有特殊要求(即Innodb无法满足的功能如:列存储,存储空间数据等)的情况下,所有表必须使用Innodb存储引擎(mysql5.5之前默认使用Myisam,5.6以后默认的为Innodb)Innodb支持事务,支持行级锁,更好的恢复性,高并发下性能更好2、数据库和表的字符集统一使用UTF8兼容性更好,统一字符集可以避...
小米A/B 实验场景基于 Apache Doris 的查询提速优化实践|最佳实践
我们的具体做法是:拉取历史(近半年)查询日志进行分析,根据维度字段的使用频次排序确认进入聚合表的优先级。在此基础上得出聚合表的覆盖率和数据量随着建模字段增加而变化的曲线,如下图所示:其中覆盖率根据历史请求日志代入聚合表计算得出。我们的原则是:针对OLAP查询,聚合表的数据量应尽可能的控制在单日1亿...
从Clickhouse 到 Apache Doris:有赞业务场景下性能测试与迁移验证
01SQL建表语句与查询语句改写目前,我们针对UniqueKey模型与DuplicateKey模型制作了SQL建表语句改写工具,如上图所示,支持通过配置参数自动将Clickhouse建表语句转为Doris建表语句,该工具的主要功能具体如下:字段类型映射:由于Doris与Clickhouse字段不一致,存在一些特殊要求的转换,例如Key值...
腾讯分布式数据库TDSQL金融级能力的架构原理解读
这张图从下往上看,首先最底层是资源池,属于IaaS层服务,可以是物理机,也可以是虚拟机,只要是给TDSQL添加机器就好,TDSQL是在一个机器的资源池上实现了数据库实例的管理。当然,这里推荐的还是物理机,如果增加一层虚拟机服务,无疑在稳定性和性能方面都会引入一些隐患。存储节点从资源池再往上是存储节点。存储节点...