从Oracle到TeleDB:河北电信数据库实现华丽转身,云和恩墨SQM功不可没
SQM针对河北电信2021年某天生成的TeleDB日志进行审核,审核40条SQL语句,风险问题187个,并针对这些风险SQL进行分类,实现精细化管理。3、精准定位问题SQL位置,给出优化建议SQM平台支持问题SQL关联数据库结构,精准定位问题SQL所在租户、实例、set、schema,便捷查找和管理。同时,平台根据风险情况,给出对应的处理优化建议。S...
一个SparkSQL作业的一生可能只是一集琅琊榜
拆完聚合函数,如果只是上面案例给的一步SQL,那事情比较简单,如果还有多个子查询,那么你可能面临多次Shuffle,对于MapReduce来说,每次Shuffle你需要一个MapReduceJob来支撑,因为MapReduce模型中,只有通过Reduce阶段才能做Shuffle操作,而对于Spark来说,Shuffle可以随意摆放,不过你要根据Shuffle来拆分Stage。这样拆过之后,你...
中车基于IoTDB构建城市轨道交通车辆智能运维系统
IoTDB通过JDBC(Java数据库连接)驱动,广泛地支持多种异构数据源的接入,包括设备数据、系统状态数据、消息队列数据、应用数据以及其它数据库中的数据等。用户通过命令行客户端交互工具能够对数据库进行写入和查询操作,也可以通过Grafana监控工具以图形化方式查看数据变化趋势。TsFile是一种专门为时间序列数据而设计的...
业内首个基于 Iceberg 的「云端仓转湖」生产实践探索
Iceberg在数据查询时会使用data-skipping技术,跳过那些不存在目标数据的文件,从而节省IO带来查询提升。但实际使用中,data-skipping技术发挥的余地会非常小。这是因为数据的某种「无序」分布,导致查询条件的目标数据会分布在大部分文件甚至所有文件,这就导致简单的查询需要扫描全表的原因。Z-Order是一种...
高并发架构都要考虑哪些方面?|redis|mysql|服务器|内存|路由_网易...
直接使用TiDB之类的分布式数据库可能是比自行分库分表更简单高效的方案。除了TiDB外还有各类NewSQL活跃在业界解决着传统关系型数据库难以解决的问题,比如用于进行复杂统计查询的Hive、用于进行模糊搜索的ElasticSearch、用于存储和分析海量日志的ClickHouse等时序数据库、用于计算共同好友等场景的Dgraph等图数...
PingCAP CTO 黄东旭:如何做出让人爱不释手的基础软件
后来我们实现了把TraceID和SpanID传到了TiKV内部这个功能才算初步可用,至少把一个周期的图景变得更加完整了,本来我们打算就止步于此,但是后来发生了一个小事情,某天一个客户说:为什么我的应用访问TiDB那么慢?然后我一看TiDB的监控,没有啊,SQL到数据库这边基本都是毫秒就返回了,但是客户说:你看我这个...
微服务接口设计原则
所谓幂等,简单地说,就是对接口的多次调用所产生的结果和调用一次是一致的。数据发生改变才需要做幂等,有些接口是天然保证幂等性的。比如查询接口,有些对数据的修改是一个常量,并且无其他记录和操作,那也可以说是具有幂等性的。其他情况下,所有涉及对数据的修改、状态的变更就都有必要防止重复性操作的发生。实现接...
新功能:阿里云负载均衡支持访问日志功能(可能是这个星球上最好用...
某天运维工程师王大锤在查看实时日志dashboard时发现,某段时间非200的错误占比很高通过点击报表右上角箭头深钻(drill-down)到日志库中查看细节,深钻日志查看。通过使用类SQL的查询语言,大锤非常快速写出一段查询语句,查看404请求ip的来源(地理信息)以及PV情况:...