Alluxio AI 助力知乎千卡模型训练

透明缓存:因为目前知乎的数据都是存放在HDFS上,我们不希望用户在接入新存储的时候,需要对访问数据的路径做比较大的修改,最好是路径能够与HDFS一一对应,有透明缓存的能力,这样能够最大程度上减少业务方的改造工作。基于以上需求,我们调研了市面上大多数的存储,发现只有Alluxio能够满足我们的需求,严格意义上来...

官宣:Apache Celeborn 顺利毕业,成为 Apache 顶级项目!

—张志彪,BIGO大数据平台负责人ApacheCeleborn是Pinterest新一代批量数据处理平台的基石。因为Celeborn的存在,我们使Spark作业在K8s上具备了根据需求动态获取资源的能力,从而大幅度减少基础设施及计算开销.同时,因为Celeborn卓越的性能,我们可以以相较其他方案更低的成本运维Celeborn集群,并在一些大规模...

山西积云教育:高端IT职业培训,助力更多大学生精准就业

1、不同编程语言的发展前景Python人工智能是目前炙手可热的专业方向,非常具有竞争力,预计到2030年核心产业规模将达到570亿,市场人才缺口将达500万,其应用领域非常广泛,包括智能家居、新能源汽车、无人超市、智慧交通等,巨大的应用空间和广阔发展前景,决定了Python人工智能是“大有前途”的。Java大数据跟Python人工智...

金山云在离线混部解决方案Colo在知乎大数据场景的落地实践

知乎在采用金山云在离线混部解决方案Colocation(以下简称“Colo”)前,就已尝试多种优化IT资源成本的方法,例如根据数据指标手动或自动降低服务资源配置、潮汐调度等,直到选择混部方案后,知乎才实现了更精确化的管理调度、更合理的资源隔离,以及更高效的运维效率。本文将对知乎早期优化路径进行简要分析,并将重点置于Colo在...

用大数据看中国:知乎没有告诉你 年入百万有多难

可以100%确定地说:年入百万无论在任何国家、任何城市、任何公司,都是很了不起的存在。当然,山外有山,人外有人,每个人实现收入增长的途径也各不相同。与其充满焦虑地在互联网上看键盘侠写故事,不如脚踏实地做好生活和工作中的每一件事。作者房东经济学...

对话知乎王雨舟:大数据时代,人都在“裸奔”吗?

知乎目前的大数据平台架构用到了行业内的热门引擎Druid，以实现自定义多维分析和留存分析功能，做到实时数据分析，自定义指标、维度、报表、文件夹、Dashboard，任意Hive表导入平台做可视化分析等(www.e993.com)2024年11月23日。同时，Kudu、Spark、Hadoop以及GrowthHacker等都在知乎使用范围之内，与这些技术打交道的这数年里，王雨舟也有了一些自己...

武大测绘真的没有前途吗?

航测遥感建议去城市测绘院,省测绘院或者自然资源调查监测中心,达摩院和各类独角兽企业搞遥感的也很多,是很多大数据的空间基础。大地测量建议走北斗系统的研究,热门中的热门,其他的都比较成熟了。工程测量确实不太推荐,天花板太明显了,适当规避。最后,测绘地理信息行业确实不大,但肯定饿不死武大测绘的,而且有超高的...

一分钟get重庆应用技术职业学院大数据技术与应用专业

学生在校期间,可学习掌握大数据应用领域中的数据收集、数据清洗、数据分析挖掘、可视化呈现等核心技术的基本知识和基本技术,毕业后可到企业、行政管理部门、教育部门、技术支持服务机构等行业从事大数据软件工程师、大数据分析师、大数据运维工程师以及大数据售前(售后)支持工程师等相关工作。

全球大数据智能化浪潮与重庆汽车产业新一轮突破!

作为跨界造车的典范,以及面向未来型的产业“打破者”,特斯拉不但在汽车动力保障方面有所创新,还在大数据智能化在汽车上的运用有所突破,其在上海工厂的Model3的量产,对于完善中国在汽车电子方面的产业链有所帮助。现今,这种互联网企业与制造业企业联盟跨界造车的现象在国内也成了气候,面对全球汽车行业“智能化、网联化...

多云缓存在知乎的探索:从 UnionStore到Alluxio

降本增效:对于同一服务,不同云厂商对同一服务的定价和运维的能力也不尽相同,我们期望能够达到比较理想的状态,在云服务满足我们需求的前提下,尽量享受到低廉的价格。知乎目前有多个数据中心,主要的机房有以下两个:在线机房:主要是部署知乎主站上直接面向用户的服务(如评论、回答等),这部分服务对时延敏感;...