pandas json 转dataframe|极客笔记

pandas json 转dataframe

在数据处理和分析中，有时候我们需要处理JSON格式的数据并将其转换成Pandas中的DataFrame格式，以便进行进一步的分析。本文将详细介绍如何使用Pandas库将JSON数据转换成DataFrame。

什么是JSON

JSON（JavaScript Object Notation）是一种轻量级的数据交换格式，常用于数据存储和传输。JSON数据由键值对组成，其中键是字符串，值可以是字符串、数字、布尔值、数组、对象等。JSON数据的格式如下：

{
    "name": "Alice",
    "age": 30,
    "city": "New York",
    "hobbies": ["reading", "traveling"],
    "address": {
        "street": "123 Main St",
        "zip": "10001"
    }
}

从JSON文件读取数据

首先，我们需要将JSON数据读取到Python中。Pandas库提供了read_json()函数来读取JSON数据并转换成DataFrame。下面是一个示例，假设我们有一个名为data.json的JSON文件，内容如下：

[
    {
        "name": "Alice",
        "age": 30,
        "city": "New York"
    },
    {
        "name": "Bob",
        "age": 25,
        "city": "Los Angeles"
    }
]

我们可以使用read_json()函数将其读取到DataFrame中：

import pandas as pd

df = pd.read_json('data.json')
print(df)

运行以上代码，输出如下：

    name  age         city
0  Alice   30    New York
1    Bob   25  Los Angeles

可以看到，read_json()函数将JSON数据转换成了DataFrame，并打印了DataFrame的内容。

从JSON字符串读取数据

除了从文件中读取JSON数据，我们还可以将JSON字符串转换成DataFrame。Pandas提供了read_json()函数中的orient参数来指定JSON数据的格式。下面是一个示例，我们有一个名为json_str的JSON字符串：

json_str = '[{"name": "Alice", "age": 30, "city": "New York"}, {"name": "Bob", "age": 25, "city": "Los Angeles"}]'

我们可以将其转换成DataFrame：

import pandas as pd

df = pd.read_json(json_str)
print(df)

运行以上代码，输出如下：

    name  age         city
0  Alice   30    New York
1    Bob   25  Los Angeles

同样地，read_json()函数将JSON字符串转换成了DataFrame。

处理复杂的JSON数据

有时候我们会遇到嵌套的JSON数据，即值本身是一个JSON对象或JSON数组。Pandas可以很好地处理这种复杂的JSON数据。下面是一个示例，假设我们有一个名为complex_data.json的JSON文件，内容如下：

[
    {
        "name": "Alice",
        "age": 30,
        "city": "New York",
        "hobbies": ["reading", "traveling"],
        "address": {
            "street": "123 Main St",
            "zip": "10001"
        }
    },
    {
        "name": "Bob",
        "age": 25,
        "city": "Los Angeles",
        "hobbies": ["painting", "gardening"],
        "address": {
            "street": "456 Elm St",
            "zip": "90001"
        }
    }
]

我们可以使用read_json()函数将其读取到DataFrame中：

import pandas as pd

df = pd.read_json('complex_data.json')
print(df)

运行以上代码，输出如下：

    name  age         city                    hobbies               address
0  Alice   30    New York       [reading, traveling]  {'street': '123 Main St', 'zip': '10001'}
1    Bob   25  Los Angeles       [painting, gardening]  {'street': '456 Elm St', 'zip': '90001'}

可以看到，Pandas将复杂的JSON数据转换成了DataFrame，其中hobbies和address列是嵌套的JSON数据。

扁平化处理复杂的JSON数据

有时候我们需要将嵌套的JSON数据扁平化处理，即将嵌套的JSON对象或JSON数组展开成不同的列。Pandas可以通过json_normalize()函数实现这一功能。下面是一个示例，我们有一个名为nested_data.json的JSON文件，内容如下：

[
    {
        "name": "Alice",
        "age": 30,
        "city": "New York",
        "hobbies": ["reading", "traveling"],
        "address": {
            "street": "123 Main St",
            "zip": "10001"
        }
    },
    {
        "name": "Bob",
        "age": 25,
        "city": "Los Angeles",
        "hobbies": ["painting", "gardening"],
        "address": {
            "street": "456 Elm St",
            "zip": "90001"
        }
    }
]

我们可以使用json_normalize()函数将其扁平化处理：

import pandas as pd
from pandas.io.json import json_normalize

with open('nested_data.json') as f:
    data = json.load(f)

df = json_normalize(data)
print(df)

运行以上代码，输出如下：

    name  age         city             hobbies_street  hobbies_zip address_street address_zip
0  Alice   30    New York       [reading, traveling]           10001   123 Main St       10001
1    Bob   25  Los Angeles       [painting, gardening]           90001     456 Elm St       90001

可以看到，Pandas将嵌套的JSON数据扁平化处理，并展开成了不同的列。

通过以上介绍，我们学习了如何使用Pandas库将JSON数据转换成DataFrame，并处理复杂的JSON数据。当我们需要对JSON数据进行分析和处理时，Pandas提供了丰富的功能和方法，使我们能够高效地进行数据处理和分析。