Apache spark pyspark计数列中的非空值

Apache spark pyspark计数列中的非空值,apache-spark,null,pyspark,Apache Spark,Null,Pyspark,我有一个包含空值的数据帧： 数据=[ （125，'2012-10-10'，'tv'）， （20，'2012-10-10'，'phone'）， （40，'2012-10-10'，'tv'）， （无，'2012-10-10'，'tv'）] df=spark.createDataFrame（数据，[“销售”、“日期”、“产品”]） 我需要计算sales列中的非空值。 我尝试了3种方法： 第一个我做对了： df.where（F.col（“销售”）.isNotNull（））.groupBy（“产品”）\

数据=[
（125，'2012-10-10'，'tv'），
（20，'2012-10-10'，'phone'），
（40，'2012-10-10'，'tv'），
（无，'2012-10-10'，'tv'）]
df=spark.createDataFrame（数据，[“销售”、“日期”、“产品”]）

df.where（F.col（“销售”）.isNotNull（））.groupBy（“产品”）\
.agg（（F.count（F.col（“Sales”））。别名（“Sales_count”）））。show（）

产品|销售|计数
电话| 1
电视| 2

df.groupBy（'product'））\
.agg（（F.count（F.col（“Sales”）.isNotNull（））.alias（“Sales_count”））.show（）
产品|销售额|计数
电话| 1
电视| 3

df.groupBy（'product'）\.agg（（F.col（“Sales”）.isNotNull（）.count（））.alias（“Sales\u count”））.show（）
TypeError:“列”对象不可调用

>>> df.groupBy("product").agg({"Sales":"count"}).show()
+-------+------------+
|product|count(Sales)|
+-------+------------+
|  phone|           1|
|     tv|           2|
+-------+------------+

Sales

null

df.groupBy('product') \
    .agg((F.count(F.col("Sales").isNotNull()).alias("sales_count"))).show()

筛选

聚合

F.col（“Sales”）.isNotNull（）

true

false

F.count（F.col（“Sales”）.isNotNull（））

df.withColumn("isNotNull", F.col("Sales").isNotNull()).show()

+-----+----------+-------+---------+
|Sales|      date|product|isNotNull|
+-----+----------+-------+---------+
|  125|2012-10-10|     tv|     true|
|   20|2012-10-10|  phone|     true|
|   40|2012-10-10|     tv|     true|
| null|2012-10-10|     tv|    false|
+-----+----------+-------+---------+

.count（）

.agg（）