Spark

如何设置spark.yarn.executor.memoryOverhead？

我是xshell远程连接别人的hadoop服务器节点，运行任务时遇到报错：Container killed by YARN for exceeding…
关注者
5
被浏览
28,072

2 个回答

这是内存超了被yarn kill掉了
很多人都被它那个提示给坑了一直提高 spark.yarn.executor.memoryOverhead 然并卵呀
memoryOverhead 这部分内存并不是用来进行计算的，只是用来给spark本身的代码运行用的，还有就是内存超了的时候可以临时顶一下。

其实你要提高的是 executor-memory 或者增加分区 如何合理的设置executor-memory和分区得看你的数据，然后进行计算，预估一个。

推荐看一下 这篇文章 上的预估内存和分区和运行时间例子
然后 这篇文章 了解下spark的内存管理

sparkContext一旦被初始化，就没法修改这些配置了