第4天:核心概念之广播与累加器
2021年3月2日 - 网易
累加器累加器变量主要用于统计操作记录数据。例如,我们可以在MapReduce中利用累加器进行求和或计数。一个累加器的数据结构如下所示:classpyspark.Accumulator(aid,value,accum_param)如下的示例中显示了如何使用累加器变量。累加器变量与广播变量类似,同样可以通过value属性来查询数据,但是仅仅能在驱动程序中调用。
详情
累加器累加器变量主要用于统计操作记录数据。例如,我们可以在MapReduce中利用累加器进行求和或计数。一个累加器的数据结构如下所示:classpyspark.Accumulator(aid,value,accum_param)如下的示例中显示了如何使用累加器变量。累加器变量与广播变量类似,同样可以通过value属性来查询数据,但是仅仅能在驱动程序中调用。