使用 Go 语言逐行读取文件

本文旨在介绍在 Go 语言中如何高效地逐行读取文件，我们将重点讨论使用 bufio.Scanner 的方法。bufio.Scanner 是 Go 标准库中用于读取文本的强大工具，它提供了简洁的 API 和良好的性能。

使用 bufio.Scanner 逐行读取文件

在 Go 1.1 及更高版本中，使用 bufio.Scanner 是最简单且推荐的方式。以下是一个示例代码，展示了如何从文件中逐行读取内容：

package main
import (
"bufio"
"fmt"
"log"
"os"
)
func main() {
file, err := os.Open("/path/to/file.txt") // 替换为你的文件路径
if err != nil {
log.Fatal(err)
}
defer file.Close()
scanner := bufio.NewScanner(file)
// 可选：调整 Scanner 的缓冲区大小，以处理超过 64KB 的行
for scanner.Scan() {
fmt.Println(scanner.Text())
}
if err := scanner.Err(); err != nil {
log.Fatal(err)
}
}

这段代码首先打开指定路径的文件。然后，创建一个 bufio.Scanner 对象，并将文件句柄传递给它。scanner.Scan() 方法会读取文件的下一行，并将其存储在内部缓冲区中。scanner.Text() 方法返回当前行的文本内容。循环遍历 scanner.Scan() 直到文件结束。最后，检查 scanner.Err() 是否有错误发生。

处理长行文件

bufio.Scanner 默认的缓冲区大小为 65536 字节（64KB）。如果文件包含超过 64KB 的行，scanner.Scan() 将会返回错误。为了处理这种情况，可以使用 Scanner.Buffer() 方法来增加 Scanner 的缓冲区大小。

以下是一个示例代码，展示了如何调整 Scanner 的缓冲区大小：

package main
import (
"bufio"
"fmt"
"log"
"os"
)
func main() {
file, err := os.Open("/path/to/file.txt") // 替换为你的文件路径
if err != nil {
log.Fatal(err)
}
defer file.Close()
scanner := bufio.NewScanner(file)
const maxCapacity int = 1024 * 1024 // 设置为 1MB，根据实际需求调整
buf := make([]byte, maxCapacity)
scanner.Buffer(buf, maxCapacity)
for scanner.Scan() {
fmt.Println(scanner.Text())
}
if err := scanner.Err(); err != nil {
log.Fatal(err)
}
}

在这个例子中，我们首先定义了一个 maxCapacity 常量，表示缓冲区的大小。然后，创建一个大小为 maxCapacity 的字节切片 buf。最后，调用 scanner.Buffer(buf, maxCapacity) 方法来设置 Scanner 的缓冲区。 需要注意的是，设置过大的缓冲区可能会占用大量内存，因此需要根据实际情况进行权衡。

总结

使用 bufio.Scanner 是在 Go 语言中逐行读取文件的推荐方法。它提供了简洁的 API、良好的性能，并且能够处理长行文件。通过合理地调整缓冲区大小，可以确保程序能够正确处理各种类型的文本文件。在实际应用中，请根据文件的具体情况选择合适的缓冲区大小，并始终检查错误，以确保程序的健壮性。