详解大厂实时数仓建设方案|秒级|数据源|应用层|olap_网易订阅

第一种方式,采用FlinkSQL进行实时汇总,将结果指标存入HBase、MySQL等数据库,该种方式是我们早期采用的方案,优点是实现业务逻辑比较灵活,缺点是聚合粒度固化,不易扩展;第二种方式,采用实时OLAP工具进行汇总,该种方式是我们目前常用的方案,优点是聚合粒度易扩展,缺点是业务逻辑需要在中间层预处理。DWA层表命...

如何成为一个合格的数据架构师?|算法|数据仓库|oracle|mapreduce...

数据加载方式hive的底层是HDFS,简单说就是个文件,hive只是映射过去,通过类SQL语言实现计算。你可以直接通过hive接口(三种方式)建内部表。Sqoop和DataX都支持直接同步到hive中。转化方式这是模拟过程,hive不支持存储、不支持update,所以可以进行两张表数据聚合(leftjoin、groupby等)后数据插入到另一张表中,再把数...