StarRocks VS ClickHouse,携程大住宿智能数据平台的应用
·明细模型:表中存在主键重复的数据行,和摄入数据行一一对应,用户可以召回所摄入的全部历史数据。·聚合模型:表中不存在主键重复的数据行,摄入的主键重复的数据行合并为一行,这些数据行的指标列通过聚合函数合并,用户可以召回所摄入的全部历史数据的累积结果,但无法召回全部历史数据。·更新模型:聚合模型的特殊情形,...
SQLAlchemy 使用经验
以User类为例,它的__tablename__属性就是数据库中该表的名称,它有id和name这两个字段,分别为整型和30个定长字符。Column还有一些其他的参数,我就不解释了。最后,BaseModel.metadata.create_all(engine)会找到BaseModel的所有子类,并在数据库中建立这些表;drop_all()则是删除这些表。接...
开发| 再见了,公司的“烂系统”
线上的MySQLbinlog是row模式,如一个delete语句删除了100条记录,binlog记录的不是一条delete的逻辑SQL,而是会有100条binlog记录。insert语句插入一条记录,如果主键冲突,插入不进去。③联表查询SQL改造现在主键已经接入全局唯一id,新的库表、索引已经建立,且数据也在实时追平,现在...
Mybatis的这些坑,把我坑惨了!
当数据库字段类型是整数,如果参数变量为空字符串或者NULL,Mybatis会自动将参数赋值0,所以如果要判断整数参数的多种状态在传递数值到Mapper之前就要判断是否为空字符串和NULL并将相应的状态数值赋值给该参数,否则参数值等于空字符串、NULL和0得到的结果是一样的。一般情况下,涉及到int类型的操作的时候,在Service中会...
一个复杂系统的拆分改造实践!|sql|key|库里|调用_网易订阅
1)对按主键id排序的sql要提前改造。因为id已经不保证递增,可能会出现乱序场景,这时候可以改造为按gmt_create排序;2)报主键冲突问题。这里往往是代码改造不彻底或者改错造成的,比如忘记给某一insertsql的id添加#{},导致继续使用自增,从而造成冲突;3.1.2建新表&迁移数据&binlog同步...