如何使用 Pandas 比对 DataFrame 的三列数据并找出不匹配项

本文介绍如何使用 Pandas 库高效地比对两个 DataFrame 中的三列数据，并找出不匹配的行。我们将通过 pd.merge 函数结合 indicator 参数，以及适当的过滤，来实现精准的不匹配项识别。即使数据行的顺序不同，也能正确识别匹配项，避免误判。本文提供了详细的代码示例和解释，帮助你轻松掌握这一技巧。

在数据分析中，经常需要比对两个数据集，找出差异。当需要基于多个列进行比对时，pandas 提供了强大的工具来简化这个过程。本教程将演示如何使用 pandas 比对两个 dataframe 的三列数据，并找出所有不匹配的行，即使这些行在不同的 dataframe 中顺序不同。

核心思路

核心思路是使用 pd.merge 函数，并利用其 indicator 参数来标记每一行来自哪个 DataFrame。然后，我们可以根据 indicator 的值来筛选出不匹配的行。

具体步骤

1. 准备数据： 首先，创建两个包含需要比对数据的 DataFrame。例如：

   import pandas as pd
   df_old = pd.DataFrame({'column1': ['x', 'a'],
   'column2': ['y', 'b'],
   'column3': ['z', 'c']})
   df_new = pd.DataFrame({'column1': ['a', 'x'],
   'column2': ['b', 'y'],
   'column3': ['c', 'z']})

2. 合并 DataFrame： 使用 pd.merge 函数将两个 DataFrame 合并。关键在于设置 on 参数为需要比对的列名列表，how 参数为 ‘right’（或 ‘left’，取决于你想以哪个 DataFrame 为基准），以及 indicator 参数为 True。

   merged_df = pd.merge(df_old, df_new, on=['column1','column2','column3'], how='right', indicator=True)

   indicator=True 会在结果 DataFrame 中添加一个名为 _merge 的列，该列的值指示每一行来自哪个 DataFrame。’right_only’ 表示该行只存在于 df_new 中，’left_only’ 表示该行只存在于 df_old 中，’both’ 表示该行在两个 DataFrame 中都存在。

3. 筛选不匹配的行： 使用布尔索引筛选出 _merge 列值为 ‘right_only’ 的行。这些行就是只存在于 df_new 中，而在 df_old 中找不到匹配的行。

   mismatched_rows = merged_df[merged_df['_merge'] == 'right_only']

4. 移除辅助列： 可以选择移除 _merge 列，因为它只是用于辅助筛选。

   mismatched_rows = mismatched_rows.drop('_merge', axis=1)

5. 查看结果： 打印或保存 mismatched_rows DataFrame，即可查看所有不匹配的行。

   print(mismatched_rows)
   # mismatched_rows.to_csv(file_name + "_output_mismatched.csv",index=False) # save to csv

完整代码示例

import pandas as pd
df_old = pd.DataFrame({'column1': ['x', 'a'],
'column2': ['y', 'b'],
'column3': ['z', 'c']})
df_new = pd.DataFrame({'column1': ['a', 'x'],
'column2': ['b', 'y'],
'column3': ['c', 'z']})
merged_df = pd.merge(df_old, df_new, on=['column1','column2','column3'], how='right', indicator=True)
mismatched_rows = merged_df[merged_df['_merge'] == 'right_only']
mismatched_rows = mismatched_rows.drop('_merge', axis=1)
print(mismatched_rows)

注意事项

• Pandas 版本： 确保你的 Pandas 版本在 2.0.1 或更高版本。
• 数据类型： 确保要比较的列的数据类型在两个 DataFrame 中是一致的。如果不一致，可能会导致错误的结果。
• 缺失值： 如果数据中包含缺失值 (NaN)，pd.merge 函数会将其视为不同的值。如果需要将缺失值视为相等，可以先使用 fillna 函数填充缺失值。
• 内存占用： 对于大型 DataFrame，pd.merge 操作可能会占用大量内存。可以考虑使用分块处理或其他优化方法来降低内存消耗。

总结

使用 pd.merge 函数结合 indicator 参数是一种高效且灵活的方法，可以比对 DataFrame 的多列数据并找出不匹配的行。通过调整 how 参数，可以选择不同的比对方式，以满足不同的需求。掌握这种技巧，可以极大地提高数据分析的效率。