使用Node.js Streams处理大文件

Node.js Streams 是处理大文件的关键技术，通过分块读写避免内存溢出。它提供 Readable、Writable、Duplex 和 Transform 四种流类型，支持数据的逐段传输与处理。使用 fs.createReadStream 和 createWriteStream 可实现文件复制，配合 pipe() 方法简化数据流动。需进行数据转换时，可用 Transform 流处理中间环节，如文本转大写。为确保稳定性，应监听 error 事件或使用 pipeline 函数统一管理错误与资源清理，从而高效安全地处理大规模数据流。

处理大文件时，直接读取整个文件到内存中会导致内存溢出或性能严重下降。Node.js 的 Streams 提供了一种高效、低内存消耗的方式来处理大文件。通过流式读取和写入，数据可以分块处理，避免一次性加载全部内容。

什么是 Node.js Streams？

Stream 是 Node.js 中用于处理流数据的内置模块，特别适用于读取或写入大量数据的场景。它允许你以“管道”方式逐块处理数据，而不是一次性加载全部内容。

常见的 Stream 类型有：

• Readable：可读流（如读取文件）
• Writable：可写流（如写入文件）
• Duplex：双工流（既可读又可写）
• Transform：转换流（对数据进行处理后再输出）

使用 Readable 和 Writable 流处理大文件

借助 fs.createReadStream 和 fs.createWriteStream，你可以轻松实现大文件的复制或处理。

示例：复制一个大文件

const fs = require('fs');
const readStream = fs.createReadStream('large-file.txt');
const writeStream = fs.createWriteStream('copy-large-file.txt');
readStream.on('data', (chunk) => {
writeStream.write(chunk);
});
readStream.on('end', () => {
writeStream.end();
});

更简洁的方式是使用 pipe() 方法，自动处理数据块的流动：

readStream.pipe(writeStream);

pipe 会自动监听 data 和 end 事件，并将读取的每个数据块写入目标流，代码更清晰且不易出错。

文心大模型

百度飞桨-文心大模型 ERNIE 3.0 文本理解与创作

56

查看详情

在流中处理数据（Transform Stream）

如果需要在传输过程中修改数据（例如压缩、转码、过滤），可以使用 Transform 流。

示例：将文本转为大写并保存

const { Transform } = require('stream');
const toUpperCaseTransform = new Transform({
transform(chunk, encoding, callback) {
callback(null, chunk.toString().toUpperCase());
}
});
const readStream = fs.createReadStream('input.txt');
const writeStream = fs.createWriteStream('output.txt');
readStream
.pipe(toUpperCaseTransform)
.pipe(writeStream);

在这个例子中，每个数据块都会被转换成大写后再写入目标文件。

错误处理和资源清理

流操作可能因权限、磁盘空间或文件不存在而出错。务必监听 error 事件，避免程序崩溃。

readStream.on('error', (err) => {
console.error('读取失败:', err);
});
writeStream.on('error', (err) => {
console.error('写入失败:', err);
});
writeStream.on('finish', () => {
console.log('文件写入完成');
});

使用 pipeline 可以更优雅地处理流并自动管理错误：

const { pipeline } = require('stream');
pipeline(
readStream,
toUpperCaseTransform,
writeStream,
(err) => {
if (err) {
console.error('流处理失败:', err);
} else {
console.log('大功告成！');
}
}
);

基本上就这些。用好 Streams，再大的文件也能轻松应对。关键是别把数据全塞进内存，让它们“流”起来。不复杂但容易忽略。