如何使用 Node.js Stream API 减少服务器端内存消耗?

更新日期: 2023-01-14阅读: 694标签: api
本文分享自华为云社区《使用 Node.js Stream API 减少服务器端内存消耗的一个具体例子》,作者:Jerry Wang 。

HTTP 响应对象(上面代码中的 res)也是一个可写流。这意味着如果我们有一个表示 big.file 内容的可读流,我们可以将这两个相互连接起来,并在不消耗约 400 MB 内存的情况下获得几乎相同的结果。 Node 的 fs 模块可以使用 createReadStream 方法为我们提供任何文件的可读流。 我们可以将其通过管道传递给响应对象。

让我们看一个示例,展示在内存消耗方面,采用流的编程思路带来的巨大优越性。

我们先创建一个大文件:

const fs = require('fs');
const file = fs.createWriteStream('./big.file');
for(let i=0; i<= 1e6; i++) {
 file.write('this is a big file.\n');
}
file.end();

fs 模块可用于使用流接口读取和写入文件。 在上面的示例中,我们通过一个循环写入 100 万行的可写流,向该 big.file 写入数据

运行上面的代码会生成一个大约 400 MB 的文件。

这是一个简单的 Node Web 服务器,旨在专门为 big.file 提供服务:

const fs = require('fs');
const server = require('http').createServer();
server.on('request', (req, res) => {
 fs.readFile('./big.file', (err, data) => {
 if (err) throw err;
 res.end(data);
  });
});
server.listen(8000);

启动该服务器,其消耗的初始内存为 8 MB 左右。


使用浏览器访问服务器之后,内存消耗跃升至 434.8 MB。

我们基本上将整个 big.file 内容放在内存中,然后再将其写入响应对象。 这是非常低效的。

HTTP 响应对象(上面代码中的 res)也是一个可写流。 这意味着如果我们有一个表示 big.file 内容的可读流,我们可以将这两个相互连接起来,并在不消耗约 400 MB 内存的情况下获得几乎相同的结果。

Node 的 fs 模块可以使用 createReadStream 方法为我们提供任何文件的可读流。 我们可以将其通过管道传递给响应对象:

const fs = require('fs');
const server = require('http').createServer();
server.on('request', (req, res) => {
 const src = fs.createReadStream('./big.file');
 src.pipe(res);
});
server.listen(8000);

我们现在访问上述重新实现过的服务器,发现内存消耗量大大降低了。

这是因为,当客户端请求该大文件时,我们一次将其流式传输一个块,这意味着我们根本不会将其整个的庞大文件内容缓冲在内存中。 内存使用量增加了大约 25 MB,仅此而已。

我们可以把测试场景设计得更极端一些:用 500 万行而不是 100 万行重新生成 big.file,这将使文件超过 2 GB,这实际上大于 Node.js 中的默认缓冲区限制。

如果尝试使用 fs.readFile 提供该文件,则默认情况下会出现 out of memory 的错误。

但是使用 fs.createReadStream,将 2 GB 的数据流式传输到请求者完全没有问题,而且最重要的是,进程内存使用情况大致相同。

链接: https://www.fly63.com/article/detial/12326

浏览器中的图像识别 API

在 Native 开发中,Android 和 IOS 平台都在系统层面直接提供给了应用开发识别图像的一些能力,比如对于二维码/条形码的识别,Android 可以使用 barcode API 、 iOS 可以使用 CIQRCodeFeature API 。

JavaScript的API设计原则

Js的API设计原则总共包含了七个大块。系卤煮自己总结的一些经验和教训。本篇博文同时也参考了其他一些文章,相关地址会在后面贴出来。很难做到详尽充实,如果有好的建议或者不对的地方,还望不吝赐教斧正。

适合写api接口文档的管理工具有哪些?

现在越来越流行前后端分离开发,使用ajax交互。所以api接口文档就变的十分有意义了,目前市场有哪些比较优秀的接口文档管理工具呢?比如:MinDoc,eoLinker,apizza,RAML,Swagger等等

前后端分离,如何防止api接口被恶意调用或攻击

无论网站,还是App目前基本都是基于api接口模式的开发,那么api的安全就尤为重要了。目前攻击最常见的就是“短信轰炸机”,由于短信接口验证是App,网站检验用户手机号最真实的途径,使用短信验证码在提供便利的同时,也成了呗恶意攻击的对象,那么如何才能防止被恶意调用呢?

什么是RESTful API?

要弄清楚什么是RESTful API,首先要弄清楚什么是REST。REST -- REpresentational State Transfer,英语的直译就是“表现层状态转移”。如果看这个概念,估计没几个人能明白是什么意思。

认识 Fetch API

Fetch API 已经作为现代浏览器中异步网络请求的标准方法,其使用 Promise 作为基本构造要素。Fetch 在主流浏览器中都有很好的支持,除了IE。

用一个通俗的例子讲清楚API

随着移动互联网的发展, 基于互联网的应用正变得越来越普及,在这个过程中,更多的平台将自身的资源开放给开发者来调用。对外提供的API 调用使得平台之间的内容关联性更强,同时这些开放的平台也为用户、开发者和中小网站带来了更大的价值。

docker提供api访问

环境centos,添加deamon.json后,dockerd命令可以启动docker,这时请求 127.0.0.1:2375 可以正常访问,使用systemctl无法启动docker的情况.无法启动docker:查看当前的docker配置

构建API的最佳编程语言是什么?

你是否正在设计第一个Web应用程序?也许你过去已经建立了一些,但是目前也正在寻找语言的变化以提高你的技能,或尝试新的东西。有了所有信息,就很难决定为下一个产品或项目选择哪种编程语言。

前端 api 请求缓存方案

在开发 web 应用程序时,性能都是必不可少的话题。对于webpack打包的单页面应用程序而言,我们可以采用很多方式来对性能进行优化,比方说 tree-shaking、模块懒加载、利用 extrens 网络cdn 加速这些常规的优化

点击更多...

内容以共享、参考、研究为目的,不存在任何商业目的。其版权属原作者所有,如有侵权或违规,请与小编联系!情况属实本人将予以删除!