数据库半年度盘点:20+国内外数据库重大更新及技术精要

上半年,ChatGPT的热潮也影响到了数据库行业,许多国内数据库产品开始集成自主SQL生成和智能优化等功能,更有头部大厂直接将AI命名为产品后缀,加速提升AI与数据库的结合,相信后续这一能力将是数据库发展的新的竞争热点;在云产品方面,云原生与Serverless仍然是各家追逐的目标,更为灵活、更具弹性的云产品不断涌现;在数据分...

图灵奖数据库大师 Stonebraker 师徒对数据库近 20 年发展与展望的...

本文的第二部分讨论了DBMS架构的进步,这些进步解决了现代应用程序和硬件的问题:(1)列式系统,(2)云数据库,(3)数据湖/Lakehouses,(4)NewSQL系统,(5)硬件加速器,以及(6)区块链数据库。其中一些是对DBMS实现的深刻变化,而另一些仅仅是基于错误前提的趋势。我们对下一代DBMS的重要考虑因素...

MongoDB索引使用总结

createIndex()方法中你也可以设置使用多个字段创建索引(关系型数据库中称作复合索引)。删除索引:删除索引在底层直接删除文件,然后修改元数据从4.4开始支持隐藏索引在删除索引前,可以先隐藏索引,查看集群是否异常后,才真正删除索引,可有效帮助业务判断索引是否可以删除。数据结构底层文件存储MongoDB底层是如...

过去一年,我看到了数据库领域的十大发展趋势

该数据库支持多种索引类型和相似度计算方法,单索引支持10亿级向量规模,可支持百万级QPS及毫秒级查询延迟,不过半年后,直到笔者写这篇文章的时候,腾讯的向量数据库还是没有商用。百度也赶在年底发布了单独的自研向量数据库,百度向量数据库VectorDB是一款纯自研高性能、高性价比、生态丰富且即开即用的向量数...

RAG 技术真的“烂大街”了吗?

知识问答类产品可能一周就能做出演示版,但要达到好用的程度可能需要半年时间。现有的RAG基础流程存在许多需要优化的问题,包括检索文档内容解析错误、边缘案例处理不当、解析速度慢、知识库更新耗时长、机械分块丢失语义信息、目标检索内容召回不全、召回结果排序困难、答案生成存在遗漏等。

开源神器!向量、张量、全文搜索一网打尽,打造最强 RAG!

存储引擎方面,Infinity建立了完整的以列存为基础的索引体系,对于多路召回的每一路,都有相对应的索引负责高性能检索,这也使得Infinity添加新的类型支持变得非常方便(www.e993.com)2024年11月10日。因此,Infinity可以看做是一个以列存为基础的全索引数据库,这跟近期OpenAI收购的Rockset有着相似的特性,而在索引的类型上,Infinity则提供更...

大数据开发的存储技术探索与实践|对象存储|存储|大数据_新浪新闻

Databricks公司针对Lakehouse引入了ACID事务、多版本数据、索引、零拷贝等特性,这些常出现在数据库领域里的特性在DataLake阶段是没有提及的。所以Lakehouse对存储的要求更高了。02HDFS与对象存储适合么1.存储系统比较无论业务架构怎么构建,最底层的存储系统常见选项是HDFS和对象存储。针对这两种...

重新定义百科全书,王者“大英百科”,让孩子的暑假过得更充实

要想用清单的形式来呈现,就需要庞大的数据库和强大的信息整合能力,这只有拥有几百年知识沉淀的大英百科才能做到。经过复杂的时间换算,将宇宙138亿年的全部历史浓缩到一年之中!按照这个时间尺度,每一天相当于3780万年。使用宇宙年历,孩子可以一眼看透宇宙历史中所有的大事件,包括地球诞生和恐龙灭绝!

这些年背过的面试题——MySQL篇

阿里妹导读本文是技术人面试系列MySQL篇,面试中关于MySQL都需要了解哪些基础?一文带你详细了解,欢迎收藏!WhyMysql?NoSQL数据库四大家族列存储HbaseK-V存储Redis图像存储Neo4j文档存储MongoDB云存储OSS海量AerospikeAerospike(简称AS)是一个分布式,可扩展的键值

微信Windows端IM消息数据库的优化实践:查询慢、体积大等

3.1问题1：数据查询慢随着使用时间的推移，数据也逐渐增多，当数据量越来越庞大：1）数据库的查询和插入效率会受到影响；2）即使消息数据库存在索引，索引的查询效率也随之下降。从文件系统的角度，数据库文件是逐页增长的。因为长时间的使用微信会使得消息量的逐步累积，让数据库体积逐渐增长，也会导致碎片化更...