使用 Go 逐行读取文件

本文介绍了在 Go 语言中逐行读取文件的有效方法，着重讲解了 bufio.Scanner 的使用。通过代码示例，详细展示了如何打开文件、创建 Scanner 对象、循环读取每一行，以及处理可能出现的错误。同时，还讨论了处理长行的特殊情况，并提供了相应的解决方案。

在 Go 语言中，逐行读取文件是一个常见的任务。虽然 Go 标准库中没有直接提供 file.ReadLine 函数，但我们可以使用 bufio.Scanner 类型来实现这个功能。bufio.Scanner 提供了一种高效且简洁的方式来从 io.Reader 中读取数据，并将其分割成行。

基本用法

以下是一个使用 bufio.Scanner 逐行读取文件的基本示例：

package main
import (
"bufio"
"fmt"
"log"
"os"
)
func main() {
file, err := os.Open("/path/to/file.txt")
if err != nil {
log.Fatal(err)
}
defer file.Close()
scanner := bufio.NewScanner(file)
for scanner.Scan() {
fmt.Println(scanner.Text())
}
if err := scanner.Err(); err != nil {
log.Fatal(err)
}
}

代码解释：

1. os.Open(“/path/to/file.txt”): 打开指定路径的文件。如果文件不存在或无法打开，os.Open 将返回一个错误。
2. defer file.Close(): 使用 defer 关键字确保在函数 main 退出时关闭文件，即使发生错误。这是一个良好的编程习惯，可以防止资源泄漏。
3. bufio.NewScanner(file): 创建一个新的 bufio.Scanner 对象，并将打开的文件作为输入。bufio.Scanner 将负责从文件中读取数据。
4. scanner.Scan(): Scan() 方法读取输入中的下一个 token，通常是下一行。如果读取成功，则返回 true；如果到达文件末尾或发生错误，则返回 false。
5. scanner.Text(): Text() 方法返回最近一次 Scan() 读取的 token，也就是当前行的内容。
6. scanner.Err(): Err() 方法返回在扫描过程中发生的任何错误。如果扫描过程中没有发生错误，则返回 nil。

处理长行

bufio.Scanner 默认的缓冲区大小为 65536 字节（64KB）。如果文件中的某一行超过了这个限制，scanner.Scan() 将返回一个错误。为了处理长行，可以使用 scanner.Buffer() 方法来增加 scanner 的缓冲区大小。

以下是一个处理长行的示例：

package main
import (
"bufio"
"fmt"
"log"
"os"
)
func main() {
file, err := os.Open("/path/to/file.txt")
if err != nil {
log.Fatal(err)
}
defer file.Close()
scanner := bufio.NewScanner(file)
const maxCapacity int = 1024 * 1024 // 1MB - 假设最大行长度为 1MB
buf := make([]byte, maxCapacity)
scanner.Buffer(buf, maxCapacity)
for scanner.Scan() {
fmt.Println(scanner.Text())
}
if err := scanner.Err(); err != nil {
log.Fatal(err)
}
}

代码解释：

1. *`const maxCapacity int = 1024 1024**: 定义一个常量maxCapacity`，表示缓冲区的最大大小。在这个例子中，我们将其设置为 1MB。请根据实际情况调整这个值。
2. buf := make([]byte, maxCapacity): 创建一个大小为 maxCapacity 的字节切片 buf。
3. scanner.Buffer(buf, maxCapacity): 将 buf 设置为 scanner 的缓冲区。这告诉 scanner 使用我们提供的缓冲区，而不是默认的缓冲区。

注意事项

• 确保在使用 bufio.Scanner 之前正确打开文件，并在使用完毕后关闭文件。
• 根据文件的实际情况调整缓冲区的大小，以避免出现长行错误。
• 始终检查 scanner.Err() 的返回值，以确保在扫描过程中没有发生错误。

总结

bufio.Scanner 是 Go 语言中逐行读取文件的强大工具。通过使用 bufio.Scanner，可以轻松地从文件中读取每一行，并进行处理。通过调整缓冲区的大小，可以处理包含长行的文件。始终注意错误处理，以确保程序的健壮性。