Apache spark Apache Spark：限制Spark应用程序使用的执行器数量
是否可以限制Spark上应用程序使用的执行器数量？我可以使用spark.executor.instances设置执行者的初始数量，但稍后在我的应用程序中，spark似乎会自行添加所有可用的执行者 这使得集群上无法同时运行其他作业。谷歌搜索让我知道了解决方案，但spark.cores.max似乎无法限制执行者的总数Apache spark Apache Spark：限制Spark应用程序使用的执行器数量,apache-spark,pyspark,yarn,Apache Spark,Pyspark,Yarn,是否可以限制Spark上应用程序使用的执行器数量？我可以使用spark.executor.instances设置执行者的初始数量，但稍后在我的应用程序中，spark似乎会自行添加所有可用的执行者 这使得集群上无法同时运行其他作业。谷歌搜索让我知道了解决方案，但spark.cores.max似乎无法限制执行者的总数 spark.dynamicAllocation.maxExecutors=infinity 此属性默认为无穷大，您可以将此属性设置为限制执行器的数量。我们遇到了类似的问题，尽管i/o
spark.dynamicAllocation.maxExecutors=infinity
此属性默认为无穷大，您可以将此属性设置为限制执行器的数量。我们遇到了类似的问题，尽管i/o受到限制，但它已开始分配更多执行器。然后我们调查了这处房产