解决Python csv.writer 生成CSV文件中的空白行问题

本文探讨了Python csv.writer 在生成CSV文件时出现额外空白行的常见问题及其解决方案。默认情况下，csv.writer 使用 \r\n 作为行终止符，这在某些操作系统或文本编辑器中可能被误解为两个换行符，从而导致每行之间出现空白。通过在 csv.writer 中明确指定 lineterminator=’\n’，可以有效消除这些不必要的空白行，确保CSV文件的正确显示和兼容性。

CSV文件中的意外空白行现象

在使用python的 csv 模块生成csv文件时，开发者有时会遇到一个令人困惑的问题：生成的csv文件在某些文本编辑器或操作系统中打开时，每行数据之间会出现一个不必要的空白行。这不仅影响了文件的美观性，也可能对后续的数据处理造成干扰。

例如，预期的数据格式应该是这样的：

Canada1,CAN,66.7631001973005,327464,124083,37.208477068753076,42.055800430596044,Tree1,Sport1,Energy1
Canada2,CAN,63.42569986832592,845406,2564,99.41705285611631,58.367586898438226,Tree2,Sport2,Energy2
...

然而，实际生成的CSV文件却可能显示为：

Canada1,CAN,66.7631001973005,327464,124083,37.208477068753076,42.055800430596044,Tree1,Sport1,Energy1
Canada2,CAN,63.42569986832592,845406,2564,99.41705285611631,58.367586898438226,Tree2,Sport2,Energy2
...

每条数据记录之间都插入了一个空白行。

问题根源：行终止符的差异

这个问题的根本原因在于不同操作系统和 csv 模块默认的行终止符处理方式。

立即学习“Python免费学习笔记（深入）”；

1. csv.writer 的默认行为： 默认情况下，csv.writer 在写入每一行数据后，会使用 \r\n (回车符+换行符，即CRLF) 作为行终止符。这是Windows系统上文本文件的标准行终止符。
2. 文件打开模式与Python的通用换行符： 当使用 open() 函数以文本模式（例如 ‘w’）打开文件时，Python会默认进行“通用换行符转换”。这意味着在写入时，Python会将 \n 转换为操作系统的默认行终止符（在Windows上是\r\n，在Linux/macOS上是\n）。
3. 双重换行： 如果你在Python代码中手动在每行数据末尾添加了 \n，然后 csv.writer 又添加了 \r\n，或者更常见的情况是，csv.writer 写入的 \r\n 在某些非Windows系统或特定的文本编辑器中被误解。这些系统/编辑器可能将 \r 解释为一个换行符，然后又将 \n 解释为另一个换行符，从而导致每行数据之间出现一个额外的空白行。

原始代码示例（导致问题的代码）

以下是一个典型的Python随机数据生成器，它使用了 csv.writer 来写入数据，但可能导致上述空白行问题：

import random
import os
import csv
def generate_data_csv(rand_file_name, no_entries):
file_name = "temp.csv"
# 第一次写入：生成数据到临时文件
with open(file_name, 'w', encoding='UTF8') as f:
writefile = csv.writer(f) # 默认 lineterminator='\r\n'
for i in range(1, no_entries+1):
country_name=("Canada" + str(i))
country_code="CAN"
access_to_electricity=(random.uniform(0.0, 100.0))
renewable_electricity_output=(random.randint(1000,1000000))
total_electricity_output=(random.randint(1000,1000000))
tot_final_energy_consumption=(random.uniform(0.0, 100.0))
renewable_energy_consumption=(random.uniform(0.0, 100.0))
national_tree=("Tree" + str(i))
most_popular_sport=("Sport" + str(i))
primary_energy_consumption=("Energy" + str(i))
row = [country_name,country_code,access_to_electricity,renewable_electricity_output,total_electricity_output,tot_final_energy_consumption,renewable_energy_consumption,national_tree,most_popular_sport,primary_energy_consumption]
writefile.writerow(row) # 写入一行，并添加默认的 '\r\n'
# 第二次写入：读取临时文件，随机化顺序，再写入目标文件
with open(file_name,'r') as source:
csvreader = csv.reader(source)
data = [ (random.random(), line) for line in csvreader ]
data.sort()
with open(rand_file_name,'w') as target:
writefile = csv.writer(target) # 同样是默认 lineterminator='\r\n'
for _, line in data:
writefile.writerow(line) # 写入一行，并添加默认的 '\r\n'
os.remove(file_name)
# 调用示例
# generate_data_csv("output.csv", 10)

在这段代码中，csv.writer 在两次写入文件时都使用了其默认的行终止符行为，即在每行数据后添加 \r\n。

Sudowrite

对用户最友好的AI写作工具

66

查看详情

解决方案：明确指定 lineterminator 参数

解决此问题的最直接方法是，在创建 csv.writer 对象时，明确指定 lineterminator 参数为 ‘\n’。这将强制 csv.writer 使用单个换行符 (LF) 作为行终止符，而不是默认的 CRLF (\r\n)。

通过将 lineterminator=’\n’ 传递给 csv.writer，我们确保了每行只使用一个换行符，从而避免了在某些系统上被解释为双重换行的问题。

修正后的代码示例

将上述解决方案应用到数据生成器中，修改后的关键部分如下：

import random
import os
import csv
def generate_data_csv_fixed(rand_file_name, no_entries):
file_name = "temp.csv"
# 第一次写入：生成数据到临时文件
# 注意：在打开文件时使用 newline='' 是处理CSV文件的最佳实践，
# 它可以防止Python进行通用换行符转换，与 lineterminator 配合使用效果更佳。
with open(file_name, 'w', encoding='UTF8', newline='') as f:
writefile = csv.writer(f, lineterminator='\n') # 明确指定行终止符为 '\n'
for i in range(1, no_entries+1):
country_name=("Canada" + str(i))
country_code="CAN"
access_to_electricity=(random.uniform(0.0, 100.0))
renewable_electricity_output=(random.randint(1000,1000000))
total_electricity_output=(random.randint(1000,1000000))
tot_final_energy_consumption=(random.uniform(0.0, 100.0))
renewable_energy_consumption=(random.uniform(0.0, 100.0))
national_tree=("Tree" + str(i))
most_popular_sport=("Sport" + str(i))
primary_energy_consumption=("Energy" + str(i))
row = [country_name,country_code,access_to_electricity,renewable_electricity_output,total_electricity_output,tot_final_energy_consumption,renewable_energy_consumption,national_tree,most_popular_sport,primary_energy_consumption]
writefile.writerow(row)
# 第二次写入：读取临时文件，随机化顺序，再写入目标文件
# 同样，打开文件时使用 newline=''，并指定 lineterminator='\n'
with open(file_name,'r', newline='') as source: # 读取时也建议使用 newline=''
csvreader = csv.reader(source)
data = [ (random.random(), line) for line in csvreader ]
data.sort()
with open(rand_file_name,'w', encoding='UTF8', newline='') as target:
writefile = csv.writer(target, lineterminator='\n') # 明确指定行终止符为 '\n'
for _, line in data:
writefile.writerow(line)
os.remove(file_name)
# 调用示例
# generate_data_csv_fixed("output_fixed.csv", 10)

通过在 csv.writer 的初始化中加入 lineterminator=’\n’，生成的CSV文件将不再出现额外的空白行。

注意事项与最佳实践

1. newline=” 参数： 在使用 csv 模块读写文件时，强烈推荐在 open() 函数中始终使用 newline=” 参数。这会禁用Python的通用换行符转换机制，让 csv 模块能够完全控制行终止符，从而避免许多潜在的换行符问题。
2. 跨平台兼容性： 将 lineterminator 设置为 ‘\n’ (LF) 通常能提供更好的跨平台兼容性，尤其是在类Unix系统（Linux, macOS）上查看文件时。大多数现代文本编辑器和操作系统都能正确处理 LF 作为换行符。
3. Excel兼容性： 尽管Windows的标准行终止符是 \r\n，但Excel通常也能很好地处理只包含 \n 作为行终止符的CSV文件。因此，将 lineterminator 设置为 ‘\n’ 通常不会对Excel的加载造成问题。
4. 一致性： 无论是在写入临时文件还是最终文件时，都应保持 lineterminator 设置的一致性，以确保整个过程中的文件格式统一。

总结

当Python csv.writer 生成的CSV文件出现额外空白行时，这通常是由于 csv.writer 默认的 \r\n 行终止符与文件查看器或操作系统的换行符解释方式不兼容所致。通过在 csv.writer 的初始化中明确指定 lineterminator=’\n’，并结合 open() 函数的 newline=” 参数，可以有效地解决这个问题，确保生成的CSV文件格式整洁、跨平台兼容性良好。掌握这一技巧对于编写健壮的Python数据处理脚本至关重要。