使用 Pandas 比对 DataFrames 的多列并查找不匹配项

本文旨在指导如何使用 Pandas 库有效地比较两个 DataFrames 的多个列，并准确识别不匹配的行。我们将深入探讨如何使用 pd.merge 函数结合 indicator 参数，以及如何处理索引差异带来的潜在问题，确保即使行顺序不同也能正确识别匹配项。通过本文，你将掌握一种可靠的方法来比较和分析 DataFrames 中的数据差异。

使用 Pandas 比较 DataFrames 的多列

在数据分析中，经常需要比较两个 DataFrames，找出基于某些列不匹配的行。Pandas 提供了强大的工具来实现这个目标。以下是一种有效的方法，可以处理行顺序不同的情况。

示例

假设我们有两个 DataFrames，df_old 和 df_new，它们具有相同的列名 column1，column2 和 column3，但行顺序可能不同。

import pandas as pd
df_old = pd.DataFrame({'column1': ['x', 'a'],
'column2': ['y', 'b'],
'column3': ['z', 'c']})
df_new = pd.DataFrame({'column1': ['a', 'x'],
'column2': ['b', 'y'],
'column3': ['c', 'z']})
print("df_old:\n", df_old)
print("\ndf_new:\n", df_new)

这段代码创建了两个简单的 DataFrames 用于演示。df_old 和 df_new 包含相同的数据，但行顺序相反。

使用 pd.merge 进行比较

pd.merge 函数可以将两个 DataFrames 按照指定的列进行合并。 通过设置 how=’right’，我们可以保留 df_new 中的所有行，并根据 column1，column2 和 column3 与 df_old 进行匹配。 indicator=True 会添加一个名为 _merge 的列，指示每一行来自哪个 DataFrame。

merged_df = pd.merge(df_old, df_new, on=['column1','column2','column3'], how='right', indicator=True)
print("\nmerged_df:\n", merged_df)

筛选不匹配的行

_merge 列的值可以是 ‘left_only’，’right_only’ 或 ‘both’。’right_only’ 表示该行只存在于 df_new 中，即不匹配的行。通过筛选 _merge 列的值为 ‘right_only’ 的行，我们可以得到所有不匹配的行。

mismatched_rows = merged_df[merged_df['_merge'] == 'right_only']
print("\nmismatched_rows before dropping _merge column:\n", mismatched_rows)

清理结果

最后，我们可以删除 _merge 列，因为它不再需要。

mismatched_rows = mismatched_rows.drop('_merge', axis=1)
print("\nmismatched_rows after dropping _merge column:\n", mismatched_rows)

完整代码

import pandas as pd
df_old = pd.DataFrame({'column1': ['x', 'a'],
'column2': ['y', 'b'],
'column3': ['z', 'c']})
df_new = pd.DataFrame({'column1': ['a', 'x'],
'column2': ['b', 'y'],
'column3': ['c', 'z']})
merged_df = pd.merge(df_old, df_new, on=['column1','column2','column3'], how='right', indicator=True)
mismatched_rows = merged_df[merged_df['_merge'] == 'right_only']
mismatched_rows = mismatched_rows.drop('_merge', axis=1)
print(mismatched_rows)

在这个例子中，由于 df_new 中的所有行都在 df_old 中找到匹配项（尽管顺序不同），因此最终的 mismatched_rows DataFrame 将为空。

注意事项

• Pandas 版本: 确保你的 Pandas 版本是最新的，以便使用所有最新的功能和修复的 bug。
• 数据类型: 确保用于比较的列的数据类型在两个 DataFrames 中一致。如果数据类型不一致，可能会导致意外的结果。
• 缺失值: 在比较之前，考虑如何处理缺失值。你可以使用 fillna() 函数填充缺失值，或者使用 dropna() 函数删除包含缺失值的行。
• 内存: 对于大型 DataFrames，合并操作可能会消耗大量内存。考虑使用分块处理或优化数据类型来减少内存使用。

总结

通过使用 pd.merge 函数和 indicator 参数，我们可以有效地比较两个 DataFrames 的多个列，并准确地识别不匹配的行，即使行顺序不同。这种方法在数据清洗、数据验证和数据分析等场景中非常有用。记住要关注数据类型、缺失值和内存使用，以确保代码的正确性和效率。