Scala 在Scala中，如何将一个DataFrame的列添加到另一个DataFrame中

在本文中，我们将介绍如何使用Scala将一个DataFrame的列添加到另一个DataFrame中。DataFrame是Spark SQL中的一个基本概念，它是一个分布式的数据集合，以有序的列组织。

在Scala中，可以使用Spark SQL的DataFrame API来处理数据。以下是一些示例代码，展示了如何使用Scala将一个DataFrame的列添加到另一个DataFrame中。

阅读更多：Scala 教程

创建DataFrame

首先，让我们创建两个DataFrame作为示例数据。我们使用的是一个简单的示例数据集，其中包含了几个人的姓名、年龄和性别。

import org.apache.spark.sql.{SparkSession, DataFrame}
import org.apache.spark.sql.types.{StructType, StructField, StringType, IntegerType}

val spark = SparkSession.builder()
  .appName("Adding columns in Scala")
  .master("local")
  .getOrCreate()

val schema = StructType(
  List(
    StructField("Name", StringType, nullable = false),
    StructField("Age", IntegerType, nullable = false),
    StructField("Gender", StringType, nullable = false)
  )
)

val data = List(
  ("John", 30, "Male"),
  ("Lisa", 25, "Female"),
  ("Michael", 35, "Male")
)

val df1 = spark.createDataFrame(data).toDF("Name", "Age", "Gender")
val df2 = spark.createDataFrame(Seq.empty[(String, Int)]).toDF("Salary", "Year")

上述代码创建了两个DataFrame：df1和df2。df1包含了姓名、年龄和性别这三列数据，而df2为空。

使用withColumn方法添加列

要将一个DataFrame的列添加到另一个DataFrame中，可以使用withColumn方法。该方法接受两个参数：要添加的新列的名称以及新列的值。以下示例演示了如何在df2中添加df1的”Age”列。

val df3 = df2.withColumn("Age", df1("Age"))

df3.show()

上述代码使用withColumn方法将df1的”Age”列添加到df2中，并将新列命名为”Age”。最后，我们使用show方法来展示df3。

输出结果如下所示：

+------+----+
|Salary|Age |
+------+----+
|null  |30  |
|null  |25  |
|null  |35  |
+------+----+

可以看到，df3中的”Age”列与df1的相应列相同。

使用join方法关联DataFrame

除了使用withColumn方法之外，还可以使用join方法关联两个DataFrame，并将其中一个DataFrame的列添加到另一个DataFrame中。以下是一个示例：

val df4 = df2.join(df1, Seq("Name"), "left_outer")

df4.show()

上述代码使用join方法将df2和df1以”Name”列进行关联，并指定了关联方式为左外连接（left_outer）。结果DataFrame df4中将包含df1的所有列。

输出结果如下所示：

+------+----+---+------+
|Salary|Year|Age|Gender|
+------+----+---+------+
|null  |null|30 |Male  |
|null  |null|25 |Female|
|null  |null|35 |Male  |
+------+----+---+------+

可以看到，df4中包含了df1的所有列，同时也保留了df2中原有的列。

总结

在本文中，我们介绍了如何在Scala中将一个DataFrame的列添加到另一个DataFrame中。我们展示了使用withColumn方法和join方法两种常见的实现方式。无论使用哪种方法，我们都可以在Spark SQL中轻松地处理DataFrame的列。希望本文能够帮助您理解如何在Scala中操作DataFrame。