详解大厂实时数仓建设方案|秒级|数据源|应用层|olap_网易订阅
2024年7月22日 - 网易
第一是分布式-高可用第二是海量数据-写入第三是高性能-查询1.分布式-高可用我们这里听取的是Clickhouse官方的建议,借助ZK实现高可用的方案。数据写入一个分片,仅写入一个副本,然后再写ZK,通过ZK告诉同一个分片的其他副本,其他副本再过来拉取数据,保证数据一致性。这里没有选用消息队列进行数据...
详情
细说Redis分布式锁
2021年10月9日 - 网易
红锁并非是一个工具,而是redis官方提出的一种分布式锁的算法。就在刚刚介绍完的redisson中,就实现了redLock版本的锁。也就是说除了getLock方法,还有getRedLock方法。笔者大概画了一下对红锁的理解:如果你不熟悉redis高可用部署,那么没关系。redLock算法虽然是需要多个实例,但是这些实例都是独自部署的,没有主从关系。
详情
一文读懂分布式架构知识体系(内含超全核心知识大图)
2019年10月21日 - 网易
分布式缓存系统提供了热点数据的随机访问机制,大大了提升了访问时间,但是带来的问题是如何保证数据的一致性,引入分布式锁来解决这个问题,主流的分布式存储系统基本就是Redis了。持久化:Redis非持久化:Memcache消息分布式消息队列系统是消除异步带来的一系列复杂步骤的一大利器,在多...
详情
分布式锁工具Redisson,太香了!!
2023年3月10日 - 网易
分布式锁是并发业务下的刚需,虽然实现五花八门:ZooKeeper有Znode顺序节点,数据库有表级锁和乐/悲观锁,Redis有setNx,但是殊途同归,最终还是要回到互斥上来,本篇介绍Redisson,那就以redis为例。怎么写一个简单的Redis分布式锁?以SpringDataRedis为例,用RedisTemplate来操作Redis(setIfAbsent已经是setNx+expire的合...
详情