PySpark 将带有UTC偏移的字符串转换为Spark时间戳

在本文中，我们将介绍如何使用PySpark将带有UTC偏移的字符串转换为Spark时间戳。UTC偏移是指从协调世界时(UTC)的时区偏移量，可以是正数或负数。例如，东京的UTC偏移量为+09:00，纽约的UTC偏移量为-05:00。

首先，让我们导入必要的模块和库，并创建一个SparkSession对象：

from pyspark.sql import SparkSession
from pyspark.sql.functions import from_utc_timestamp

spark = SparkSession.builder \
    .appName("Convert UTC String to Spark Timestamp") \
    .getOrCreate()

阅读更多：PySpark 教程

创建示例数据

为了演示如何将带有UTC偏移的字符串转换为Spark时间戳，让我们创建一个包含日期和时间的DataFrame。我们将使用UTC偏移量为+02:00的字符串作为示例数据。

data = [("2022-01-01 12:00:00+02:00"),
        ("2022-02-01 09:30:00+02:00"),
        ("2022-03-01 18:45:00+02:00")]

df = spark.createDataFrame(data, ["timestamp"])
df.show(truncate=False)

输出结果：

+------------------------+
|timestamp               |
+------------------------+
|2022-01-01 12:00:00+02:00|
|2022-02-01 09:30:00+02:00|
|2022-03-01 18:45:00+02:00|
+------------------------+

转换字符串为Spark时间戳

要将带有UTC偏移的字符串转换为Spark时间戳，我们可以使用from_utc_timestamp函数。该函数接受两个参数：字符串列和时区偏移量。我们可以将时区偏移量作为字符串传递给函数，或使用标准时区偏移量格式，例如’+02:00’。

df = df.withColumn("timestamp", from_utc_timestamp(df.timestamp, "+02:00"))
df.show(truncate=False)

输出结果：

+-------------------+
|timestamp          |
+-------------------+
|2022-01-01 10:00:00|
|2022-02-01 07:30:00|
|2022-03-01 16:45:00|
+-------------------+

现在，我们的字符串已成功转换为Spark时间戳，并且已根据UTC偏移量调整了时间。

总结

本文介绍了如何使用PySpark将带有UTC偏移的字符串转换为Spark时间戳。我们使用from_utc_timestamp函数通过指定时区偏移量将字符串转换为Spark时间戳。通过这种方式，我们可以在Spark中处理不同时区的时间数据，并进行后续分析和处理。希望本文对于使用PySpark转换时间数据的读者们有所帮助！