PySpark 将带有UTC偏移的字符串转换为Spark时间戳

在本文中，我们将介绍如何使用PySpark将带有UTC偏移的字符串转换为Spark时间戳。UTC偏移是指与协调世界时（UTC）的差异，可以是正数、负数或零。

使用from_utc_timestamp函数转换

PySpark提供了一个内置函数from_utc_timestamp，可以根据给定的UTC偏移将字符串转换为Spark时间戳。该函数具有以下语法：

from_utc_timestamp(timestamp: Column, tz: String) -> Column

其中，timestamp是要转换的字符串列，tz是UTC偏移，可以用字符串形式（例如”+08:00″表示东八区）或按照±HH:MM格式指定。下面是一个示例：

from pyspark.sql import SparkSession
from pyspark.sql.functions import from_utc_timestamp

# 创建SparkSession
spark = SparkSession.builder.getOrCreate()

# 创建示例数据
data = [("2021-01-01 12:00:00", "+08:00"), ("2021-02-01 12:00:00", "-05:00")]
df = spark.createDataFrame(data, ["timestamp", "utc_offset"])

# 使用from_utc_timestamp函数将字符串转换为Spark时间戳
df = df.withColumn("converted_timestamp", from_utc_timestamp(df.timestamp, df.utc_offset))

# 显示结果
df.show(truncate=False)

输出结果如下：

+-------------------+----------+-------------------+
|timestamp          |utc_offset|converted_timestamp|
+-------------------+----------+-------------------+
|2021-01-01 12:00:00|+08:00    |2021-01-01 04:00:00|
|2021-02-01 12:00:00|-05:00    |2021-02-01 17:00:00|
+-------------------+----------+-------------------+

自定义函数转换

除了使用内置的from_utc_timestamp函数，我们还可以自定义一个函数来实现将带有UTC偏移的字符串转换为Spark时间戳。下面是一个示例：

from pyspark.sql import SparkSession
from pyspark.sql.functions import udf
from datetime import datetime, timedelta

# 创建SparkSession
spark = SparkSession.builder.getOrCreate()

# 定义自定义函数
def convert_to_timestamp(timestamp, utc_offset):
    # 将字符串转换为datetime对象
    dt = datetime.strptime(timestamp, "%Y-%m-%d %H:%M:%S")

    # 将UTC偏移转换为小时数
    hours_offset = int(utc_offset[:3])

    # 计算时区偏移
    tz_offset = timedelta(hours=hours_offset)

    # 根据时区偏移调整时间
    dt_adjusted = dt - tz_offset

    # 返回调整后的Spark时间戳
    return dt_adjusted

# 注册自定义函数
convert_to_timestamp_udf = udf(convert_to_timestamp)

# 创建示例数据
data = [("2021-01-01 12:00:00", "+08:00"), ("2021-02-01 12:00:00", "-05:00")]
df = spark.createDataFrame(data, ["timestamp", "utc_offset"])

# 使用自定义函数将字符串转换为Spark时间戳
df = df.withColumn("converted_timestamp", convert_to_timestamp_udf(df.timestamp, df.utc_offset))

# 显示结果
df.show(truncate=False)

输出结果与前面的示例相同：

+-------------------+----------+-------------------+
|timestamp          |utc_offset|converted_timestamp|
+-------------------+----------+-------------------+
|2021-01-01 12:00:00|+08:00    |2021-01-01 04:00:00|
|2021-02-01 12:00:00|-05:00    |2021-02-01 17:00:00|
+-------------------+----------+-------------------+