数据库半年度盘点:20+国内外数据库重大更新及技术精要

更有头部大厂直接将AI命名为产品后缀,加速提升AI与数据库的结合,相信后续这一能力将是数据库发展的新的竞争热点;在云产品方面,云原生与Serverless仍然是各家追逐的目标,更为灵活、更具弹性的云产品不断涌现;在数据分析领域,湖仓一体和融合型数据仓库的发展迅速,成为投资者关注的焦点;数据安全、软硬件结合以及...

什么是检索增强生成(RAG)?

下一个问题可能是——如果外部数据过时了怎么办？为了保持检索的信息是最新的，需要异步更新文档并更新文档的嵌入（embedding）表示形式。可以通过自动化的实时流程或定期的批处理来执行这一操作。这是数据分析中一个常见的挑战，可以使用各种数据科学方法来进行变更管理。图示：RAG与LLM配合使用的概念流程检索增强生...

从滴滴的故障中我们能学到什么

控制面对元数据的修改会通过元数据通知机制异步更新到数据面的缓存里。这个设计的优点是高度的可靠性，即使整个控制面不可用，在数据面读写文件都可以正常完成，这对数据库业务而言很重要。而在另一个系统中，控制面与数据面是耦合的。这个系统有三个很重要的Master节点，Master节点除了承担控制面的任务外，还承担...

这些年背过的面试题——个人项目篇

日榜、过去N日榜滚动更新;性能优化过程第一条需求很简单,使用了Redis的Zset实现不过这里总得分采用了基于分数、时间、次数和正确率的混合加权。考虑到数据的持久化,以及关系数据库和缓存的一致性导致的设计的复杂性,使用了谷歌开源的JamsRanking。优点是可以直接使用现成的setScores和getRanking接口封装了Redis和Mysql和...

腾讯云单元化架构体系介绍|路由|算法|中间件|应用层|分布式数据库...

集中式架构在业务高峰时,由于程序和数据库部署在一台服务器上很容易就出现资源争抢问题,所以第一步就是把程序和数据库分开部署。如下图所示,应对业务量上升导致的同一台主机资源争抢问题,优先采用的是将数据库独立部署来保证应用和数据库资源互不争抢。数据库所在的服务器资源配置通常更高于应用服务器,开放架构下一...

...到 1 教你设计百万级并发应用 | 长文荐书|ip|冗余|服务器|数据...

—性能更好(www.e993.com)2024年11月17日。在主从模式下,所有的写操作和更新操作都发生在主节点(主库)上,而读操作被分配到各个从节点(从库),因此系统能并行处理更多的查询,性能得到提升。—可靠性高。如果有一台数据库服务器因自然灾害而损毁,比如遭遇台风或者地震,数据依然被完好保存,你不需要担心数据会丢失,因为这些数据已经被复制到处于不...

这些年背过的面试题——MySQL篇

阿里妹导读本文是技术人面试系列MySQL篇,面试中关于MySQL都需要了解哪些基础?一文带你详细了解,欢迎收藏!WhyMysql?NoSQL数据库四大家族列存储HbaseK-V存储Redis图像存储Neo4j文档存储MongoDB云存储OSS海量AerospikeAerospike(简称AS)是一个分布式,可扩展的键值

高并发场景下缓存+数据库双写不一致问题分析与解决方案设计

不就是还没更新数据库的就查数据库读到旧数据吗?不就是因为读在更新前面了吗?那我就让你排队执行呗。4.1异步串行化我在系统内部维护n个内存队列,更新数据的时候,根据数据的唯一标识,将该操作路由之后,发送到其中一个jvm内部的内存队列中(对同一数据的请求发送到同一个队列)。读取数据的时候,如果发现数据不...

程序员除了会 CRUD 之外,还应该知道什么叫 CQRS!

1、CQ两端数据库共享,只是在上层代码上分离。这样做的好处是可以让我们的代码读写分离,更容易维护,而且不存在CQ两端的数据一致性问题,因为是共享一个数据库的。这种架构是非常实用的(也就是我上面画的那种)。2、CQ两端不仅代码分离,数据库也分离,然后Q端数据由C端同步过来。同步方式有两种:同步或异步,如...

缓存与数据库不一致了,咋办?

要么一起更新要么都不更新,返回错误信息,进行重试否则,我们无法实现同步直写。有些场景下,我们对数据一致性要求不高,比如缓存的是电商商品的非关键属性或短视频的创建或修改时间等,则可以使用异步写回。2.2只读缓存新增数据直接写DB删改数据删改DB,删除只读缓存中的数据...