如何使用 Pandas 生成 DataFrame 列的数据类型与唯一值汇总表

本教程将详细介绍如何利用 Python 的 Pandas 库，为 DataFrame 中的所有列生成一份结构化的汇总表。该表将清晰展示每列的名称、数据类型以及其包含的唯一值（或其数量），这对于数据探索、清洗和理解数据集至关重要。

数据探索的重要性

在任何数据分析或机器学习项目中，数据探索是至关重要且不可或缺的第一步。通过对数据集进行初步的检查和理解，我们可以：

• 识别数据类型： 确保每列的数据类型符合预期，例如数字、字符串或日期，这对于后续的数据操作和模型训练至关重要。
• 发现唯一值： 了解分类变量有多少种不同的类别，或者数值变量的分布范围，这有助于发现潜在的数据录入错误、拼写不一致或异常值。
• 评估数据质量： 通过查看唯一值的数量，可以快速判断列的变异程度，例如，一列如果只有少数几个唯一值，它可能是分类特征；如果唯一值数量接近行数，则可能是唯一标识符。

Pandas DataFrame 提供了强大的功能来处理和分析数据，但有时我们需要一个快速、集中的方式来概览所有列的关键属性。本文将展示如何构建这样一个汇总表。

核心方法：遍历 DataFrame 列

要生成所需的汇总表，我们的核心思路是遍历 DataFrame 中的每一列，并提取其数据类型和唯一值信息。具体步骤如下：

1. 获取列名： 遍历 DataFrame 的所有列名。
2. 获取数据类型： 对于每一列，使用 .dtype 属性获取其数据类型。
3. 获取唯一值： 对于每一列，使用 .unique() 方法获取其所有唯一值。
4. 统计唯一值数量： 获取唯一值列表的长度。
5. 构建结果： 将收集到的信息存储到列表中，最终组装成一个新的 Pandas DataFrame。

代码实现与解析

首先，我们创建一个示例 DataFrame 来演示这个过程：

import pandas as pd
# 示例 DataFrame
df = pd.DataFrame({
'letter': ['a','b','c','a','b','c'],
'state': ['CA','FL','CA','FL','CA','FL'],
'scores': [11.6,12.8,13.9,14.2,15.8,16.2],
'age': [12,28,19,14,12,28]
})
print("原始 DataFrame:")
print(df)

接下来，我们实现生成汇总表的逻辑：

# 用于存储每列信息的列表
column_names = []
data_types = []
unique_values_str = []
unique_counts = []
# 遍历 DataFrame 的每一列
for col in df.columns:
# 获取列名
column_names.append(col)
# 获取数据类型
data_types.append(df[col].dtype)
# 获取唯一值，并将其转换为字符串列表，然后用逗号连接
# 注意：对于数值类型，unique() 方法返回的 dtype 可能为 float64 或 int64
temp_unique_vals = [str(x) for x in df[col].unique()]
unique_values_str.append(','.join(temp_unique_vals))
# 获取唯一值的数量
unique_counts.append(len(temp_unique_vals))
# 将收集到的信息构建成新的 DataFrame
summary_df = pd.DataFrame({
'Column_Name': column_names,
'Dtype': data_types,
'Unique_Values': unique_values_str,
'Unique_Count': unique_counts
})
print("\n生成的汇总表:")
print(summary_df)

代码解析：

• column_names, data_types, unique_values_str, unique_counts：这些列表用于在循环中收集每列的相应信息。
• for col in df.columns:：这是一个标准的 Pandas 循环模式，用于迭代 DataFrame 的所有列名。
• df[col].dtype：直接获取当前列的数据类型。Pandas 会返回如 object (字符串)、float64 (浮点数)、int64 (整数) 等精确的数据类型。
• df[col].unique()：返回一个包含当前列所有唯一值的 NumPy 数组。
• [str(x) for x in df[col].unique()]：这一步非常关键。它将 unique() 方法返回的所有唯一值转换为字符串。这是因为唯一值可能包含不同类型（数字、字符串等），统一转换为字符串便于后续用逗号连接。
• ‘,’.join(temp_unique_vals)：将转换后的唯一值字符串列表用逗号连接成一个单一的字符串，以便在汇总表中清晰展示。
• len(temp_unique_vals)：计算唯一值的数量，这对于快速判断列的基数（cardinality）非常有用。
• pd.DataFrame(…)：最后，使用收集到的列表作为列数据，创建并返回一个新的 DataFrame，即我们的汇总表。

封装为可复用函数

为了提高代码的复用性，我们可以将上述逻辑封装到一个函数中：

def generate_dataframe_summary(df: pd.DataFrame) -> pd.DataFrame:
"""
为 Pandas DataFrame 生成一个汇总表，包含列名、数据类型、唯一值及其数量。
Args:
df (pd.DataFrame): 需要生成汇总表的 DataFrame。
Returns:
pd.DataFrame: 包含每列汇总信息的 DataFrame。
"""
column_names = []
data_types = []
unique_values_str = []
unique_counts = []
for col in df.columns:
column_names.append(col)
data_types.append(df[col].dtype)
temp_unique_vals = [str(x) for x in df[col].unique()]
unique_values_str.append(','.join(temp_unique_vals))
unique_counts.append(len(temp_unique_vals))
summary_df = pd.DataFrame({
'Column_Name': column_names,
'Dtype': data_types,
'Unique_Values': unique_values_str,
'Unique_Count': unique_counts
})
return summary_df
# 使用函数
summary_table = generate_dataframe_summary(df)
print("\n使用函数生成的汇总表:")
print(summary_table)

注意事项与优化

1. 处理大量唯一值： 如果某一列的唯一值数量非常大（例如，ID 列或连续数值列），将所有唯一值拼接成一个字符串可能会导致该单元格内容过长，影响可读性。在这种情况下，可以考虑：
   • 仅显示 Unique_Count，而不显示 Unique_Values 字符串。
   • 对 Unique_Values 字符串进行截断，例如只显示前 N 个唯一值，并在末尾添加 …。
   • 针对数值型列，可以显示其统计摘要（均值、中位数、标准差等），而不是所有唯一值。
2. 性能考量： 对于拥有成千上万列的超大型 DataFrame，循环遍历每列并计算唯一值可能会消耗较多时间。然而，对于大多数常见的数据集（例如几十到几百列），这种方法通常足够高效。Pandas 的 .unique() 方法本身是高度优化的。
3. 数据类型显示： Pandas 内部使用 int64、float64、object 等表示数据类型。在某些展示场景中，你可能希望将其显示为更通用的“整数”、“浮点数”或“字符串”。这可以通过额外的映射逻辑来实现。

总结

本文详细介绍了如何使用 Python 和 Pandas 库为 DataFrame 创建一个包含列名、数据类型、唯一值列表和唯一值数量的汇总表。这种方法简单、直观且易于实现，是数据探索阶段非常有用的工具。通过将核心逻辑封装成函数，可以轻松地在不同的数据分析任务中复用，从而提高工作效率和代码可维护性。