PySpark 如何从DataFrame中获取随机行

在PySpark中，处理大型数据集通常需要从DataFrame中提取一行随机行，用于各种目的，如抽样或测试。然而，由于Spark的分布式特性，选择随机行的过程可能会具有挑战性。

在本文中，我们探讨了有效的技术来解决这个任务，讨论了不同的方法，并提供代码示例，帮助您轻松地从PySpark DataFrame中提取随机行。

如何从PySpark DataFrame中获取随机行

以下是可以从PySpark Dataframe中获取随机行的方法：

方法1：使用orderBy和limit函数

选择从PySpark DataFrame中获取随机行的方法之一是使用orderBy和limit函数。我们可以使用rand函数将一个随机列添加到DataFrame中，然后按照该列对DataFrame进行排序，最后使用limit函数选择顶部行。

要使用orderBy和limit从PySpark DataFrame中获取随机行，可以使用rand()添加一个随机列，按照随机列对DataFrame进行排序，然后使用limit(1)选择顶部行。这种方法随机洗牌行，允许您从DataFrame中获取一行随机行。

方法2：使用sample函数进行抽样

另一种方法是使用sample函数从PySpark DataFrame中随机抽样行。通过指定一个分数并将withReplacement设置为False，我们可以抽样一个随机行。

要使用抽样从PySpark DataFrame获取随机行，使用sample函数。指定要抽样的行数的分数，设置withReplacement为False以获取唯一行，并提供种子以便复现。此方法随机选择DataFrame的一部分行，允许您获取一行随机行。

方法3：将DataFrame转换为RDD并进行抽样

PySpark DataFrames可以转换为RDD（Resilient Distributed Datasets）以提供更大的灵活性。我们可以将DataFrame转换为RDD，然后使用takeSample函数检索一个随机行。

要通过将PySpark DataFrame转换为RDD来获取随机行，使用DataFrame的rdd属性来获取RDD表示。然后，对RDD应用takeSample函数以随机选择一行。此方法允许您直接从RDD中抽样，有效地从原始DataFrame中检索一行随机行。

这些方法提供了从PySpark DataFrame中提取随机行的不同方法。根据您的具体要求和数据集的特点，您可以选择最适合您需求的方法。

以下是显示所有方法的程序示例：

示例

from pyspark.sql import SparkSession
from pyspark.sql.functions import rand

# Create a SparkSession
spark = SparkSession.builder.getOrCreate()

# Create a sample DataFrame
data = [("Alice", 25), ("Bob", 30), ("Charlie", 35), ("David", 40), ("Eve", 45)]
df = spark.createDataFrame(data, ["Name", "Age"])

# Show the DataFrame
df.show()

# Approach 1: Using the `orderBy` and `limit` functions
df_with_random = df.withColumn("random", rand())
random_row_1 = df_with_random.orderBy("random").limit(1)
random_row_1.show()

# Approach 2: Using the `sample` function
random_row_2 = df.sample(withReplacement=False, fraction=0.1, seed=42)
random_row_2.show()

# Approach 3: Converting DataFrame to RDD and sampling
rdd = df.rdd
random_row_3 = rdd.takeSample(False, 1)
print(random_row_3)

输出

+-------+---+
|   Name|Age|
+-------+---+
|  Alice| 25|
|    Bob| 30|
|Charlie| 35|
|  David| 40|
|    Eve| 45|
+-------+---+

+-------+---+-------------------+
|   Name|Age|             random|
+-------+---+-------------------+
|Charlie| 35|0.27493566011232994|
+-------+---+-------------------+

+----+---+
|Name|Age|
+----+---+
| Bob| 30|
+----+---+

[Row(Name='Charlie', Age=35)]

上述示例演示了从PySpark DataFrame中检索随机行的不同方法。第一种方法使用orderBy和limit函数添加一个随机列，按照该列对DataFrame进行排序，并选择顶部行。第二种方法利用sample函数对DataFrame的行进行抽样。第三种方法涉及将DataFrame转换为RDD，并使用takeSample函数检索随机行。