Hadoop大数据实战系列文章之HBase
2015年3月11日 - 网易
HBase是ApacheHadoop中的一个子项目,Hbase依托于Hadoop的HDFS作为最基本存储基础单元,通过使用hadoop的DFS工具就可以看到这些这些数据存储文件夹的结构,还可以通过Map/Reduce的框架(算法)对HBase进行操作。上图描述了HadoopEcoSystem中的各层系统,其中HBase位于结构化存储层,HadoopHDFS为...
详情
星火文集 | 基于大数据平台的亿级别非结构化数据的存储实现
2022年6月23日 - 网易
根据业务场景,我们所有的业务数据(结构化和非结构化)都存储在HBase中,因此对CDH的读写请求更主要针对HBase的读写请求。提升HBase的读写请求效率是电子档案系统最核心的需求,因此HBase的优化工作是我们工作的重中之重。适当调高HBase内存、调整垃圾回收策略、更改默认的Region大小、选择合适的小文件合并时机和拆分Regi...
详情
千万级数据查询:CK、ES、RediSearch怎么选?
2022年6月5日 - 网易
耗时越大查询结果3W以下时,ES性能优;查询结果5W以上时,CK多线程性能优ES+Hbase组合查询方案在「使用ESScrollScan优化深翻页」中,使用Elasticsearch的scrollscan翻页方案对深翻页问题进行了优化,但在实现时为单线程调用,所以最终测试耗时数据并不是特别理想,和CK翻页方案性能差不多。
详情