如何使用Matplotlib绘制PySpark SQL结果？

在PySpark中，SQL是一个非常常用的操作。通过使用SQL，Spqrk可以轻松地从数据集中获取数据，将其转化为数据框，并用类SQL语言进行操作，使数据变得更加易于处理和分析。但是，使用PySpark进行SQL操作时，往往需要对结果进行可视化，这就需要使用Python可视化库–Matplotlib来实现。本文将介绍如何使用Matplotlib绘制PySpark SQL结果，并演示几个例子。

安装Matplotlib

Matplotlib是Python中非常流行的可视化库。要使用Matplotlib，需要先安装它。可以使用pip在命令行中安装Matplotlib。在命令行中键入以下命令就可以安装Matplotlib：

pip install matplotlib

获取PySpark SQL结果

在使用Matplotlib绘制PySpark SQL结果之前，需要首先获取结果。下面是一个简单的PySpark SQL示例：

from pyspark.sql import SparkSession

# 创建SparkSession对象，命名为spark
spark = SparkSession.builder.appName("example").getOrCreate()

# 读取数据
df = spark.read.format("csv").option("header", "true").load("data/sample.csv")

# 注册为表
df.createOrReplaceTempView("my_table")

# 执行SQL
result = spark.sql("SELECT dept, AVG(salary) AS avg_salary FROM my_table GROUP BY dept")

# 显示结果
result.show()

使用Matplotlib绘制结果

有了结果之后，就可以使用Matplotlib将其可视化。在下面的示例中，使用Matplotlib绘制了一个柱形图，表示每个部门的平均工资。

import matplotlib.pyplot as plt

# 获取结果中的数据
rows = result.collect()

# 获取每个部门和平均工资
depts = [row[0] for row in rows]
avg_salaries = [row[1] for row in rows]

# 绘制柱形图
plt.bar(depts, avg_salaries)

# 设置x轴标签
plt.xlabel("Dept")

# 设置y轴标签
plt.ylabel("Avg Salary")

# 显示图形
plt.show()

示例2: 绘制饼图

在下面的示例中，使用Matplotlib绘制了一个饼图，表示各个部门工资支出的比例。

# 获取结果中的数据
rows = result.collect()

# 获取每个部门和平均工资
depts = [row[0] for row in rows]
avg_salaries = [row[1] for row in rows]

# 绘制饼图
plt.pie(avg_salaries, labels=depts, autopct="%1.1f%%")

# 显示图形
plt.show()

示例3: 绘制折线图

在下面的示例中，使用Matplotlib绘制了一个折线图，表示不同年份各个地区的销售额。

# 获取结果中的数据
rows = result.collect()

# 获取所有地区
areas = set([row[0] for row in rows])

# 绘制折线图
for area in areas:
    sales = [row[1] for row in rows if row[0] == area]
    years = [row[2] for row in rows if row[0] == area]
    plt.plot(years, sales, label=area)

# 设置图例
plt.legend()

# 设置x轴标签
plt.xlabel("Year")

# 设置y轴标签
plt.ylabel("Sales")

# 显示图形
plt.show()