Pandas DataFrame 中使用聚合函数计算百分比的实用指南

本文旨在指导读者如何高效地在 Pandas DataFrame 中使用聚合函数，特别是计算分组后的百分比。我们将通过一个实际案例，演示如何按设备分组，并计算带宽使用率，避免使用低效的 apply 方法，提供更简洁、高效的解决方案。

问题描述

假设我们有一个 DataFrame，记录了不同设备的网络流量数据，包括输入流量 (In)、输出流量 (Out)、输入带宽 (Bw_in) 和输出带宽 (Bw_out)。我们的目标是计算每个设备的输入带宽使用率 (%InUsage) 和输出带宽使用率 (%OutUsage)。计算公式如下：

• %InUsage = (设备所有接口的 Bw_in 总和) / (设备所有接口的 In 总和)
• %OutUsage = (设备所有接口的 Bw_out 总和) / (设备所有接口的 Out 总和)

解决方案

避免使用 apply 函数，可以显著提高代码的执行效率，尤其是在处理大型数据集时。以下是一种更高效的方法，它利用 Pandas 的 groupby 和 transform 函数来实现：

import pandas as pd
# 示例 DataFrame
data = {'Device': ['Usa123', 'Usa123', 'Emea01', 'Emea01'],
'int': ['Eth1', 'Eth0', 'Wan1', 'Eth3'],
'In': [1000, 10000, 1000, 2000],
'Out': [500, 700, 500, 1000],
'Bw_in': [100, 200, 150, 200],
'Bw_out': [75, 80, 90, 70]}
df = pd.DataFrame(data)
# 按 'Device' 分组
g = df.groupby("Device")
# 计算 %InUsage 和 %OutUsage
df[["%InUsage", "%OutUsage"]] = (
g[["Bw_in", "Bw_out"]].transform("sum")
/ g[["In", "Out"]].transform("sum").to_numpy()
)
print(df)

代码解释：

1. df.groupby(“Device”): 这一步将 DataFrame 按照 “Device” 列进行分组，创建了一个 DataFrameGroupBy 对象。

2. g[[“Bw_in”, “Bw_out”]].transform(“sum”): 对分组后的数据，分别对 “Bw_in” 和 “Bw_out” 列应用 transform(“sum”) 函数。transform 函数会将每个分组的求和结果广播回原始 DataFrame 的对应行。

   

   凡科AI抠图

   简单好用的在线抠图工具

   50

   查看详情
   

3. g[[“In”, “Out”]].transform(“sum”).to_numpy(): 类似地，对 “In” 和 “Out” 列应用 transform(“sum”)。.to_numpy() 将结果转换为 NumPy 数组，以便进行后续的除法运算。

4. df[[“%InUsage”, “%OutUsage”]] = …: 将计算得到的百分比值赋值给 DataFrame 的新列 “%InUsage” 和 “%OutUsage”。

输出结果：

   Device   int     In   Out  Bw_in  Bw_out  %InUsage  %OutUsage
0  Usa123  Eth1   1000   500    100      75  0.027273   0.129167
1  Usa123  Eth0  10000   700    200      80  0.027273   0.129167
2  Emea01  Wan1   1000   500    150      90  0.116667   0.106667
3  Emea01  Eth3   2000  1000    200      70  0.116667   0.106667

优势

• 效率: 使用 groupby 和 transform 比 apply 更高效，尤其是在处理大型数据集时。
• 简洁: 代码更简洁易懂，易于维护。
• 向量化操作: 利用 Pandas 的向量化操作，避免了显式循环，提高了性能。

注意事项

• 确保分组列（本例中为 “Device”）的数据类型一致。
• 在进行除法运算时，注意处理分母为零的情况，避免出现 ZeroDivisionError。可以添加一个小的 epsilon 值来避免这种情况。

总结

本文介绍了一种在 Pandas DataFrame 中使用聚合函数计算分组百分比的高效方法。通过避免使用 apply 函数，并利用 groupby 和 transform 函数，我们可以编写出更简洁、高效的代码，从而提高数据处理的效率。掌握这些技巧对于数据分析和处理至关重要。