如何使用Pandas提取并分析客户访问序列模式

本文旨在教授如何利用Pandas库从配送数据中提取并分析客户访问序列模式。通过对送货单号和时间进行排序，去除同一送货批次内重复的连续客户，然后将每个送货批次中的客户名称连接成字符串，最终统计并展示不同客户访问链的出现频率，从而揭示配送人员的客户拜访规律。

在配送和物流分析中，识别配送人员在每次送货行程（sortie）中访问客户的顺序模式，对于优化路线、理解客户行为或评估配送效率具有重要意义。本教程将详细介绍如何使用pandas dataframe处理此类数据，以提取并量化这些客户访问链。

数据准备与问题描述

假设我们有一个Pandas DataFrame，其中包含配送人员的送货记录，结构如下：

• DateTime: 配送时间
• SortieNumber: 送货行程编号
• CustomerName: 客户名称
• ProductCode: 产品代码（本分析中不关心）

我们的目标是分析在每个SortieNumber中，客户的访问顺序是否一致。例如，如果一个送货行程的客户访问顺序是“Josh-Alice-Robert”，我们希望统计这种模式在所有行程中出现的次数。

首先，我们创建示例数据以进行演示：

import pandas as pd
from io import StringIO
data = """DateTime,SortieNumber,CustomerName,ProductCode
01/01/2023 09:00:00,1,Josh,001
01/01/2023 09:10:00,1,Alice,002
01/01/2023 09:15:00,1,Robert,002
01/01/2023 12:00:00,2,Anna,001
01/01/2023 12:00:10,2,Anna,003
01/01/2023 12:15:00,2,Robert,003
01/01/2023 15:00:00,3,Josh,004
01/01/2023 15:05:10,3,Alice,003
01/01/2023 15:15:00,3,Robert,001
01/01/2023 15:30:10,3,Robert,002
01/01/2023 15:35:15,3,Robert,003
"""
df = pd.read_csv(StringIO(data), sep=',')
df['DateTime'] = pd.to_datetime(df['DateTime'])
print("原始DataFrame:")
print(df)

提取客户访问链的步骤

为了准确地提取客户访问链，我们需要执行以下几个关键步骤：

1. 数据排序: 确保数据按SortieNumber和DateTime进行正确排序，这是构建正确访问顺序的基础。
2. 去除连续重复客户: 在同一个SortieNumber中，如果一个客户被访问了多次（例如，因为交付了多个产品），我们只希望记录其第一次访问，以避免在链中出现重复的客户名。例如，Anna-Anna-Robert应简化为Anna-Robert。
3. 构建客户链: 对每个SortieNumber，将去重后的客户名称按顺序连接成一个字符串。
4. 统计链的出现频率: 计算每个独特客户链出现的次数。

下面是实现这些步骤的Pandas代码：

# 1. 数据排序
df_sorted = df.sort_values(by=['SortieNumber', 'DateTime'])
# 2. 去除连续重复客户
# 使用shift()和ne()组合判断当前行与前一行在'SortieNumber'或'CustomerName'上是否不同
# 这样可以保留每个SortieNumber中首次出现的客户，以及当SortieNumber不变但CustomerName变化时的行
df_unique_customers_per_sortie = df_sorted.loc[
df_sorted[['SortieNumber', 'CustomerName']]
.ne(df_sorted[['SortieNumber', 'CustomerName']].shift())
.any(axis=1)
]
# 注意：如果确定在同一个SortieNumber内，同一个客户不会被“跳过”后又再次访问
# 也就是说，如果客户A连续出现多次，则只会记录一次；如果客户A出现，然后客户B出现，再客户A出现，则会记录A-B-A
# 如果业务逻辑允许更严格的去重（即同一SortieNumber内，只要客户名出现过一次，后续出现都算重复），
# 可以简化为：df_unique_customers_per_sortie = df_sorted.drop_duplicates(['SortieNumber', 'CustomerName'])
# 但上述.ne().any(axis=1)的方法更通用和精确地处理了“连续重复”问题。
# 3. 构建客户链
customer_chains = df_unique_customers_per_sortie.groupby('SortieNumber')['CustomerName'].agg('-'.join)
# 4. 统计链的出现频率
chain_counts = customer_chains.value_counts()
print("\n客户访问链及其出现次数:")
print(chain_counts)

代码解析：

1. df.sort_values(by=[‘SortieNumber’, ‘DateTime’]): 这是至关重要的一步，确保在处理每个SortieNumber内部的客户时，它们是按照时间顺序排列的。
2. .loc[df_sorted[[‘SortieNumber’, ‘CustomerName’]].ne(df_sorted[[‘SortieNumber’, ‘CustomerName’]].shift()).any(axis=1)]:
   • df_sorted[[‘SortieNumber’, ‘CustomerName’]].shift(): 创建一个DataFrame，其中每一行是原始DataFrame的上一行数据。
   • .ne(…): 比较当前行与上一行在SortieNumber和CustomerName列上是否“不相等”。结果是一个布尔型DataFrame。
   • .any(axis=1): 对于布尔型DataFrame的每一行，如果SortieNumber或CustomerName中至少有一个与上一行不同，则返回True。这有效地筛选出：
     • 每个SortieNumber的第一条记录。
     • 在同一SortieNumber内，CustomerName发生变化的记录。
     • 当SortieNumber发生变化时的第一条记录。
   • .loc[…]: 使用这个布尔系列来筛选原始DataFrame，从而得到每个SortieNumber中客户名称不连续重复的记录。
3. .groupby(‘SortieNumber’)[‘CustomerName’].agg(‘-‘.join):
   • groupby(‘SortieNumber’): 将数据按SortieNumber分组。
   • [‘CustomerName’].agg(‘-‘.join): 对每个分组中的CustomerName列，使用连字符-将所有客户名称连接起来，形成一个表示访问顺序的字符串。
4. .value_counts(): 对生成的客户链字符串系列，统计每个独特字符串出现的次数。

结果解读与比例分析

上述代码将输出每个独特客户访问链的出现次数：

客户访问链及其出现次数:
CustomerName
Josh-Alice-Robert    2
Anna-Robert          1
Name: count, dtype: int64

这意味着Josh-Alice-Robert这个链在我们的示例数据中出现了2次，而Anna-Robert出现了1次。

如果需要计算每个链的出现比例（相对于总的送货行程数），可以在value_counts()方法中传入normalize=True参数：

chain_proportions = customer_chains.value_counts(normalize=True)
print("\n客户访问链及其出现比例:")
print(chain_proportions)

输出将是：

客户访问链及其出现比例:
CustomerName
Josh-Alice-Robert    0.666667
Anna-Robert          0.333333
Name: proportion, dtype: float64

这表示Josh-Alice-Robert链占总行程的约66.67%，Anna-Robert链占约33.33%。

注意事项与总结

• 数据完整性与准确性: 确保DateTime和SortieNumber的准确性是分析的基础。任何数据录入错误都可能导致不正确的链条识别。
• 排序的重要性: 在进行任何分组和聚合操作之前，务必根据时间戳对数据进行排序，以保证客户访问顺序的正确性。
• 连续重复客户的处理: ne().any(axis=1)的方法是处理连续重复客户的通用且健壮的方式。它确保了在同一SortieNumber内，只有当客户名称实际发生变化时，才记录为新的访问点。如果您的业务逻辑允许更简单的去重（例如，同一SortieNumber内，只要客户名出现过一次，后续出现都算重复），可以使用drop_duplicates([‘SortieNumber’, ‘CustomerName’])，但这可能导致一些链条的简化，具体取决于您对“链”的定义。
• 性能考量: 对于非常大的数据集，sort_values和shift操作可能会消耗较多内存和计算资源。在处理亿级数据时，可能需要考虑更优化的方法，例如使用Dask或PySpark。

通过上述方法，我们可以有效地从原始配送数据中提取并量化客户访问序列模式，为物流路径优化、客户行为分析和运营效率评估提供有价值的洞察。