大数据处理工具:Apache Spark,加速数据处理

通过结合Python或Scala脚本与ApacheSpark，数据科学家和工程师能够更加高效地处理和分析大规模数据集，不仅加速了数据处理过程，还提供了丰富的数据可视化功能，使得复杂数据变得直观易懂。这种结合为跨行业的数据分析提供了强有力的支撑，推动了数据驱动决策的广泛应用，促进了各行业业务的智能化升级。总的来说，Apache...

阿里技术RocketMQ成为Apache顶级开源项目

ApacheRocketMQ是国内首个非Hadoop生态体系的顶级项目,作为阿里巴巴在开源社区努力的最新成果,在国际舞台华丽绽放,引起全球开源社区的广泛关注和积极评价。RocketMQ是阿里巴巴中间件技术部(Aliware)在2012年开源的第三代分布式消息中间件,以其高性能、低延时和高可靠的特性承载了近年来双十一交易峰值(2016年为17万笔/秒...

Apache Cassandra 5.0 重磅发布:引入新索引和 AI 能力

这次发布是自2021年Cassandra4.0推出以来的第一次重大升级。自那时以来,ApacheCassandra社区集中精力于5.0的开发,推出了一系列新特性和功能,以提升其性能和适用性。用户可以通过在线升级从4.0版本迁移到5.0,尽量减少应用程序的停机时间。随着Cassandra5.0的推出,3.x系列的生命周期也宣告结束,用户需要尽快规划升级策略...

优步推动 Apache Kafka 的分层存储功能,从而引发效率之争

交通出行公司优步(Uber)详细介绍了他们在主流的分布式事件流平台ApacheKafka中添加新的分层存储功能的工作。该功能是在ApacheKafka3.6.0中添加的,目前还处于早期访问阶段,旨在帮助运行大型Kafka集群的组织来解决可伸缩性和效率方面的挑战。分层存储允许Kafka将其存储功能从本地的代理(Broker)磁盘扩展到远程...

Apache IoTDB 入选国家级规划教材《数据库系统概论(第6版)》

近日,社区小伙伴反馈了一个重磅好消息:ApacheIoTDB作为原生时序数据库管理系统典型代表,入选“十二五”普通高等教育本科国家级规划教材《数据库系统概论(第6版)》!《数据库系统概论》自1983年出版第一版至今,40年间始终紧跟数据库技术发展,不断与时俱进,保持了科学性、先进性与实用性,得到广大读者的认可与...

Confluent Cloud for Apache Flink正式发布,不久将增加AI特性

4月份,Confluent宣布正式发布ConfluentCloudforApacheFlink(www.e993.com)2024年11月1日。这项全托管的服务支持实时数据处理以及创建可重用的高质量数据流。在AWS、GoogleCloud和MicrosoftAzure上均可使用该服务。ApacheFlink是一个值得信赖且使用广泛的流处理框架,已被Airbnb、Uber、LinkedIn和Netflix等公司采用。据Conflu...

填补市场空白,Apache TsFile 如何重新定义时序数据管理

事实上，TsFile的意义，不仅仅在于其晋升为ApacheTLP证明着国内开源项目的实力，更重要的是，TsFile填补了时序数据领域的一项市场空白。TsFile：为时序数据管理提供统一格式时序数据即时间序列数据，是指带时间标签（按照时间的顺序变化，即时间序列化）的数据，其来源多元、数据量庞大，可广泛应用于物联网、...

网易湖仓管理系统 Amoro 进入 Apache 孵化器

网易湖仓管理系统Amoro进入Apache孵化器整理|褚杏娟北京时间2024年3月11日,Amoro项目顺利通过投票,正式进入Apache软件基金会(ASF,ApacheSoftwareFoundation)的孵化器,成为ASF的一个孵化项目。根据Apache软件基金会的投票结果邮件显示,本次投票共包含15个约束性投票和19个非约束性...

苹果开源一个可提升 Apache Spark 向量处理速度的插件

消费电子巨头苹果公司发布了一个开源插件,可以帮助ApacheSpark更有效地执行向量搜索,使开源数据处理平台在大规模机器学习数据处理方面变得更有吸引力。这个基于Rust的插件名为ApacheSparkDataFusionComet。苹果工程师已经将其提交给了Apache软件基金会,使其成为ApacheArrow项目下的一个子项目。该插件是...

Apache Doris 发展历程、技术特性及云原生时代的未来规划

ApacheDoris极速1.0时代在已经发布的ApacheDoris1.0中,主要突出以下三个特点:极速、稳定和多源。极速在1.0版本中,Doris引入了全新的向量化执行引擎,极大提升了查询性能。向量化技术的提出已有十几年的历史,而在近几年,通过ClickHouse等优秀的开源的数据库引擎,这一技术真正被带入生产级别的实...