从Pandas DataFrame中提取客户访问链及其频率

本文详细介绍了如何利用Pandas库从配送数据中识别并统计客户访问序列（即客户链）。通过对数据进行排序、去除连续重复的客户记录、按配送批次分组并拼接客户名称，最终计算出每条独特客户链的出现频率，以揭示配送模式。

在物流配送或客户服务场景中，分析特定配送人员在不同批次（sortie）中访问客户的顺序，对于优化路线、理解客户行为模式具有重要意义。本教程将指导您如何使用pandas高效地从包含配送信息的dataframe中提取并量化这些客户访问链。

数据结构与目标

我们拥有的数据是一个Pandas DataFrame，包含以下关键列：

• DateTime: 配送时间戳。
• SortieNumber: 配送批次编号。
• CustomerName: 客户名称。
• ProductCode: 配送产品代码（在本分析中不关心）。

我们的目标是识别在每个SortieNumber中客户被访问的顺序，并将这些顺序表示为客户链（例如 Josh-Alice-Robert），然后统计每条客户链在所有配送批次中出现的频率。需要注意的是，如果同一客户在同一批次中被连续访问多次，我们只将其视为该序列中的一个独立访问点。

提取客户链的步骤

为了实现上述目标，我们将执行以下Pandas操作：

1. 数据预处理：排序

首先，确保数据按照SortieNumber和DateTime进行排序。这是至关重要的一步，因为它保证了在同一配送批次内部，客户的访问顺序是正确的。

import pandas as pd
# 示例数据
data = {
'DateTime': ['01/01/2023 09:00:00', '01/01/2023 09:10:00', '01/01/2023 09:15:00',
'01/01/2023 12:00:00', '01/01/2023 12:00:10', '01/01/2023 12:15:00',
'01/01/2023 15:00:00', '01/01/2023 15:05:10', '01/01/2023 15:15:00',
'01/01/2023 15:30:10', '01/01/2023 15:35:15'],
'SortieNumber': [1, 1, 1, 2, 2, 2, 3, 3, 3, 3, 3],
'CustomerName': ['Josh', 'Alice', 'Robert', 'Anna', 'Anna', 'Robert',
'Josh', 'Alice', 'Robert', 'Robert', 'Robert'],
'ProductCode': ['001', '002', '002', '001', '003', '003', '004', '003', '001', '002', '003']
}
df = pd.DataFrame(data)
# 将DateTime列转换为datetime对象（可选，但推荐）
df['DateTime'] = pd.to_datetime(df['DateTime'], format='%d/%m/%Y %H:%M:%S')
# 按照SortieNumber和DateTime进行排序
df_sorted = df.sort_values(by=['SortieNumber', 'DateTime'])
print("排序后的DataFrame头部：")
print(df_sorted.head(10))

2. 识别独立客户访问序列

在同一SortieNumber中，如果同一客户被连续访问多次（例如示例数据中Sortie 2的第二个Anna，Sortie 3的后两个Robert），我们只希望在客户链中保留一次。这可以通过删除在SortieNumber和CustomerName两列上都与前一行相同的记录来实现。

# 删除连续重复的客户访问记录
# 如果 (SortieNumber, CustomerName) 对与前一行完全相同，则删除
df_unique_sequence = df_sorted.drop_duplicates(subset=['SortieNumber', 'CustomerName'])
print("\n去除连续重复客户后的DataFrame头部：")
print(df_unique_sequence)

注意：drop_duplicates方法在这里是有效的，因为它会移除在指定subset列上与前一行完全重复的记录。如果您的业务逻辑允许同一批次中，客户A -> 客户B -> 客户A 这样的序列，且您希望第二个客户A也包含在链中，那么需要使用更复杂的过滤逻辑，例如：
df_sorted.loc[lambda d: d[[‘SortieNumber’, ‘CustomerName’]].ne(d[[‘SortieNumber’, ‘CustomerName’]].shift()).any(axis=1)]
这种方法会保留所有非连续重复的客户访问，即使客户名称在序列中再次出现。但对于本例中”连续访问同一客户只算一次”的需求，drop_duplicates更为简洁明了。

3. 构建客户链

现在，对于每个SortieNumber，我们已经得到了一个唯一的客户访问序列。接下来，我们将这些序列中的CustomerName拼接成一个字符串，形成客户链。

# 按SortieNumber分组，并将CustomerName拼接成字符串
customer_chains = df_unique_sequence.groupby('SortieNumber')['CustomerName'].agg('-'.join)
print("\n生成的客户链：")
print(customer_chains)

4. 统计客户链频率

最后一步是统计每条独特客户链出现的次数。value_counts()方法非常适合此任务。如果您需要计算比例而不是绝对频率，可以传入normalize=True参数。

# 统计每条客户链的出现频率
chain_counts = customer_chains.value_counts()
print("\n客户链出现频率：")
print(chain_counts)
# 如果需要比例
chain_proportions = customer_chains.value_counts(normalize=True)
print("\n客户链出现比例：")
print(chain_proportions)

完整示例代码

将上述步骤整合在一起，形成一个完整的解决方案：

import pandas as pd
# 1. 准备示例数据
data = {
'DateTime': ['01/01/2023 09:00:00', '01/01/2023 09:10:00', '01/01/2023 09:15:00',
'01/01/2023 12:00:00', '01/01/2023 12:00:10', '01/01/2023 12:15:00',
'01/01/2023 15:00:00', '01/01/2023 15:05:10', '01/01/2023 15:15:00',
'01/01/2023 15:30:10', '01/01/2023 15:35:15'],
'SortieNumber': [1, 1, 1, 2, 2, 2, 3, 3, 3, 3, 3],
'CustomerName': ['Josh', 'Alice', 'Robert', 'Anna', 'Anna', 'Robert',
'Josh', 'Alice', 'Robert', 'Robert', 'Robert'],
'ProductCode': ['001', '002', '002', '001', '003', '003', '004', '003', '001', '002', '003']
}
df = pd.DataFrame(data)
# 将DateTime列转换为datetime对象
df['DateTime'] = pd.to_datetime(df['DateTime'], format='%d/%m/%Y %H:%M:%S')
# 2. 核心处理流程
result = (df.sort_values(by=['SortieNumber', 'DateTime']) # 确保按批次和时间排序
.drop_duplicates(subset=['SortieNumber', 'CustomerName']) # 移除同一批次内连续重复的客户
.groupby('SortieNumber')['CustomerName'].agg('-'.join) # 按批次分组并拼接客户名形成链
.value_counts() # 统计每条链的出现频率
)
print("\n最终客户链频率结果：")
print(result)
# 如果需要比例
result_proportion = (df.sort_values(by=['SortieNumber', 'DateTime'])
.drop_duplicates(subset=['SortieNumber', 'CustomerName'])
.groupby('SortieNumber')['CustomerName'].agg('-'.join)
.value_counts(normalize=True)
)
print("\n最终客户链比例结果：")
print(result_proportion)

注意事项

• 数据质量：确保DateTime列能够准确反映访问顺序。如果时间戳不精确或缺失，可能导致排序错误，进而影响客户链的识别。
• 重复客户的定义：本教程中，我们移除了同一SortieNumber下连续重复的CustomerName。如果您的业务逻辑需要保留非连续重复的客户（例如 A-B-A 应被视为 A-B-A 而不是 A-B），则需要调整drop_duplicates或使用更通用的ne().any()过滤方法。
• 性能：对于非常大的数据集，sort_values和groupby操作可能会消耗较多内存和计算资源。考虑对数据进行分块处理或使用更优化的数据结构（如Dask）来处理大规模数据。
• 链的表示：本例使用连字符-拼接客户名称。您可以根据需要选择其他分隔符或更复杂的表示方式。

总结

通过本教程，我们学习了如何利用Pandas的强大功能，结合排序、去重、分组聚合和计数等操作，从配送数据中有效地提取并分析客户访问链。这种分析方法不仅能帮助我们理解配送模式，还能为路线优化、客户行为分析提供有价值的洞察。掌握这些Pandas技巧，将使您能够更灵活地处理和分析序列数据。