Node.js 流：处理大文件和数据传输的高效方法

当你用 Node.js 处理大文件时，会不会遇到内存不足的问题？比如要读取几百兆的日志文件，或者处理上传的大视频，如果一次性把整个文件加载到内存里，很容易让服务器崩溃。

这时候，Node.js 的流（Streams）就派上用场了。

什么是流？

想象一下用水管接水。你不是等整个游泳池的水都准备好才用，而是打开水龙头，水就源源不断地流出来。Node.js 的流也是类似的道理。

流允许你一点一点地处理数据，而不是一次性把所有数据都读进内存。这对于处理大文件或者网络传输特别有用。

Node.js 主要有四种类型的流：

可读流：你可以从里面读取数据。比如从文件读取内容，或者接收网络请求。
可写流：你可以往里面写入数据。比如向文件写入内容，或者发送网络响应。
双工流：既可以读又可以写，就像电话通话，双方都能说和听。
转换流：在传输过程中修改数据。比如压缩文件，数据一边流过一边被压缩。

为什么应该使用流？

使用流有几个明显的好处：

节省内存：处理 1GB 的文件不需要 1GB 的内存，可能只需要几十KB
响应更快：不用等所有数据都准备好，收到一点处理一点
适合实时应用：聊天、视频直播都需要这种持续的数据流

实际例子：读取大文件

假设你有一个几百兆的日志文件要分析，用传统方法会很慢：

const fs = require('fs');

// 不推荐的方法：一次性读取整个文件
fs.readFile('huge-logfile.txt', 'utf8', (err, data) => {
  if (err) throw err;
  // 等到文件全部读完后才执行这里
  console.log('文件大小：', data.length);
});

如果文件很大，这种方法会占用大量内存，而且在读取完成前什么也做不了。

用流的方式就高效多了：

const fs = require('fs');

// 创建可读流
const readableStream = fs.createReadStream('huge-logfile.txt', {
  encoding: 'utf8',
  highWaterMark: 64 * 1024 // 每次读取 64KB
});

let totalSize = 0;

// 有数据到来时触发
readableStream.on('data', (chunk) => {
  console.log(`收到 ${chunk.length} 字节数据`);
  totalSize += chunk.length;
  
  // 可以立即处理这一小块数据
  processChunk(chunk);
});

// 数据读取完成
readableStream.on('end', () => {
  console.log(`文件读取完成，总共 ${totalSize} 字节`);
});

// 错误处理
readableStream.on('error', (err) => {
  console.error('读取文件出错：', err);
});

function processChunk(chunk) {
  // 处理每一块数据
  // 比如分析日志、提取信息等
}

这种方式就像小口吃饭，而不是一口吞下整个汉堡。

使用管道简化操作

Node.js 提供了一个很实用的 pipe() 方法，让流之间的连接变得很简单。比如复制文件：

const fs = require('fs');

// 创建读取流和写入流
const readable = fs.createReadStream('source.txt');
const writable = fs.createWriteStream('copy.txt');

// 用管道连接它们：读取流 → 写入流
readable.pipe(writable);

// 监听完成事件
writable.on('finish', () => {
  console.log('文件复制完成');
});

pipe() 会自动管理数据流动：当写入流忙的时候暂停读取，空闲的时候继续读取。

在 Web 服务器中使用流

流在 Web 开发中特别有用。比如要提供视频播放服务：

const http = require('http');
const fs = require('fs');

http.createServer((req, res) => {
  // 创建文件读取流
  const videoStream = fs.createReadStream('big-video.mp4');
  
  // 设置响应头
  res.writeHead(200, {
    'Content-Type': 'video/mp4',
    'Content-Length': fs.statSync('big-video.mp4').size
  });
  
  // 将视频流管道连接到响应
  videoStream.pipe(res);
  
}).listen(3000, () => {
  console.log('服务器运行在 http://localhost:3000');
});

这样做的好处是：

内存占用很少，即使是几个GB的视频文件
用户可以边下载边观看，不用等整个文件下载完
支持多人同时观看不同视频

转换流：在传输中处理数据

转换流可以在数据传输过程中进行修改。最常见的例子是压缩：

const fs = require('fs');
const zlib = require('zlib');

// 创建读取流
const readable = fs.createReadStream('large-file.txt');
// 创建写入流
const compressed = fs.createWriteStream('large-file.txt.gz');

// 读取 → 压缩 → 写入
readable.pipe(zlib.createGzip()).pipe(compressed);

compressed.on('finish', () => {
  console.log('文件压缩完成');
});

数据流动的路径是：

从原始文件读取
经过 gzip 压缩
写入到压缩文件

整个过程就像流水线作业，每个环节只处理经过自己那一小部分数据。

错误处理很重要

使用流时一定要处理错误，否则出错时你都不知道发生了什么：

const fs = require('fs');

const readable = fs.createReadStream('input.txt');
const writable = fs.createWriteStream('output.txt');

// 处理读取错误
readable.on('error', (err) => {
  console.error('读取失败：', err);
});

// 处理写入错误
writable.on('error', (err) => {
  console.error('写入失败：', err);
});

// 使用管道
readable.pipe(writable);

writable.on('finish', () => {
  console.log('操作成功完成');
});

现代写法：async/await 与流

Node.js 现在也支持用 async/await 来处理流，让代码更易读：

const { pipeline } = require('stream/promises');
const fs = require('fs');
const zlib = require('zlib');

async function compressFile() {
  try {
    await pipeline(
      fs.createReadStream('input.txt'),
      zlib.createGzip(),
      fs.createWriteStream('input.txt.gz')
    );
    console.log('压缩成功');
  } catch (err) {
    console.error('压缩失败：', err);
  }
}

compressFile();

什么时候该用流？

在以下情况下考虑使用流：

处理大文件（视频、日志、数据库备份）
实时数据传输（聊天应用、视频会议）
需要边读取边处理的数据（文件格式转换、数据过滤）
网络通信（HTTP 请求/响应）

什么时候不需要流？

对于小文件或者简单的配置读取，用普通的 fs.readFile 和 fs.writeFile 更简单直接。

总结

Node.js 的流是一个非常强大的功能，它让处理大文件和数据传输变得高效而优雅。通过分块处理数据，流可以：

大幅减少内存使用
提高应用性能
支持实时数据处理

掌握流的使用，是你从 Node.js 初学者进阶到中级开发者的重要一步。下次遇到大文件处理的需求时，不妨试试用流来解决，你会发现它的魅力所在。

本文内容仅供个人学习/研究/参考使用，不构成任何决策建议或专业指导。分享/转载时请标明原文来源，同时请勿将内容用于商业售卖、虚假宣传等非学习用途哦～感谢您的理解与支持！

链接: https://fly63.com/article/detial/12940