如何降低90%Java垃圾回收时间?以阿里HBase的GC优化实践为例

1.HBase作为一个存储系统,使用了大量的内存作为写buffer和读cache,比如96G的大堆(4Gyoung+92Gold)下,写buffer+读cache会占用70%以上的内存(约70G),本身堆内的内存水位会控制在85%,而剩余的占用内存就只有在10G以内了。所以,如果我们能在应用层面自管理好这70G+的内存,那么对于JVM而言,百G大堆的GC压力...

邓明鉴:HBase在淘宝中的应用与优化

在邓明鉴看来,HBase的优势主要有以下几点,即具备水平线性扩展能力;强一致性读写能力;原子和可分配地切分表,并且在未来版本中极有可能提供可分配地合并表功能;具有自动容错能力,在遭遇宕机之后,应用可迅速切换;可满足实时读写响应,I/O吞吐量大;容易使用的JavaAPI;方便地运行MapReduce以及可扩展的thrif/rest/avrol接...

如何使用 JuiceFS 在云上优化 Kylin 4.0 的存储性能?

Kylin从诞生之初选择了HBase作为存储引擎,基本满足查询性能的要求;然而基于HBase方案存在一系列痛点,例如HBase运维复杂、查询节点存在单点问题、HBase并非纯列式存储IO效率不高等。ApacheKylinv4采用Parquet+Spark的组合,不再使用HBase,使得计算和存储相分离,是一次重大架构升级,更加适应云原生...

一文读懂火山引擎云数据库产品及选型

NoSQL数据库又可以细分为KV型NoSQL数据库(以Redis为代表)、文档型NoSQL数据库(以MongoDB为代表)、宽列型NoSQL数据库(以HBase为代表)、时序型NoSQL数据库(以InfluxDB为代表)以及图NoSL数据库(以Neo4j为代表)。虽然这些类型都属于NoSQL数据库范畴,但是不同类型的NoSQL数...

高性能延迟服务实现之路|key|算法|hbase|队列|数据量_网易订阅

3.2系统优化3.1中描述了系统实现的整体流程,在具体的实现和调优过程中,我们进一步针对具体问题细化了实现方案。3.2.1HBase性能调优我们设计的rowkey如下,主要分为三段,分别是salt、exec_time和unique_id,其中salt=hash(concat(exec_time,unique_id))%regionnumber。

中交兴路公司招人啦~_澎湃号·媒体_澎湃新闻-The Paper

5.掌握Mysql、Oracle数据库的开发技能,熟练掌握SQL查询优化,熟练使用redis、Mongo等NoSQL技术;6.熟悉MongoDB、Redis、HBase、Kafka等;7.熟悉分布式架构,了解分布式框架应用,熟悉高并发、负载均衡、消息队列;8.喜欢挑战与钻研新的技术实现,良好的沟通能力及解决问题的能力,良好的团队协作能力和沟通能力;善于...

架构师之路,从「存储选型」起步

HBase是代表产品(国外cassandra用得多,国内HBase用得多)。优点:动态列调整,不受表结构困扰海量数据存储,PB级别数据横向扩展方便,且支持廉价存储扩展,成本低,适用于无法预估存储量的海量数据缺点:Hadoop生态产品,组件依赖多,没有云托管产品,运维能力要求比较高...