极光笔记丨Spark SQL 在极光的建设实践

SparkCatalyst的SQL处理分成parser,analyzer,optimizer以及planner等多个步骤,其中analyzer,optimizer等步骤内部也分为多个阶段,为了获取最有效的血缘关系信息,我们选择最终的planner阶段作为切入点,为此我们专门实现了一个plannerstrategy进行SparkSQL物理执行计划的解析,并提取出读写表等元数据信息并存储到元数据管理平台...

有关MySQL 字符集的 SQL 语句-爱可生

mysql>setnamesutf32;ERROR1231(42000):Variable'character_set_client'can'tbesettothevalueof'utf32'4.setcharacterset语句语法为:SET{CHARACTERSET|CHARSET}{'charset_name'|DEFAULT}类似语句setnames,同样是设置以下三个session参数:character_set_resultscharac...

一不小心 2 个多小时烧了 47 万的云:差点破产

我在谷歌时碰到过团队犯错误,给谷歌造成数百万美元损失的情况,但是谷歌文化保护员工(除非工程师写一份冗长的事件报告)。这回是我们公司,不是谷歌。我们自己有限的资金和付出的辛勤工作岌岌可危。“1600亿次:这是我们的测试代码在不到一小时内读取Firestore数据库的次数。”耸立的喜马拉雅山告诉我们……这是我头...

故障分析 | MySQL TEXT 字段的限制

1.ERROR1118(42000):Rowsizetoolarge(>8126).ChangingsomecolumnstoTEXTorBLOBmayhelp.该表有242个字段,都是varchar类型,只是长度上有所区别。二、MySQL的限制说明:本文仅讨论MySQL中,单条记录最大长度的限制,其他的暂且搁置。无论是MySQL还是Oracle,或者是SQLServer...