理解 nodeJS 中的 buffer,stream

时间: 2020-01-10阅读: 96标签: node

在Node.js开发中,当遇到 buffer,stream,和二进制数据处理时,你是否像我一样,总是感到困惑?这种感觉是否会让你认为不了解它们,以为它们不适合你,认为而这些是Node.js作者们的事情?

确实,这些东西可能非常令人生畏,尤其是当你在缺乏计算机底层基础知识,进行相关的开发。

 可悲的是,许多教程和书籍直接告诉你如何使用 Node.js 包开发 Web 应用程序,而没有让你了解 Node.js 的核心功能以及它们存在的原因,有些人会地告诉你,你不需要了解它们,因为你可能永远不会直接用到这些。

没错,如果你选择做一名普通开发人员,可能永远不会用到他们。

如果你对这些内容存在疑问,你想理解 Node.js 的许多核心功能,比如 buffer...这就是我写本篇文章的原因,这是为了帮助我们揭开其中一些功能的神秘面纱,并使我们对 Node.js 的学习更上一层楼。

 官方的 Node.js 文档部分说明:

 JavaScript 语言没有读取或操作二进制数据流的机制。 Buffer 类被引入作为 Node.js API 的一部分,使其可以在 TCP 流或文件系统操作等场景中处理二进制数据流。

嗯,除非你对上述句子中的描述有相关的知识和经验,否则它们可能只是一堆术语。

我们简化一下这些解释,以便我们可以更好的理解他们,官方的描述可以总结为一句话:buffer 能够与二进制数据流进行交互操作。

但是 buffer,stream,二进制数据,仍然有很多不理解的地方。 好吧,我们尝试解决这些重要的问题。


 二进制数据是什么?

 你可能已经知道计算机是以二进制形式存储和表示数据,二进制只是一个1或0的集合。例如,以下是五个不同的二进制文件,5个不同的1和0集:

10,01,001,1110,00101011

 二进制中的每个数字,0或1叫做位(bit),也就是Binary digIT 的缩写。

为了能够存储和表示这些数据,计算机需要将数据转换为二进制形式。比如,要存储数字12,计算机需要将12转化为二进制 1100

计算机怎么知道要如何去转换?这就完全是一个数学问题了。计算机是知道怎么去处理的,有兴趣的可以自己查阅。

但是我们日常工作的数据类型不仅仅是数字,我们还有字符串,图像,视频...计算机知道如何用二进制表示所有类型的数据的,让我们以字符串为例。计算机如何用二进制表示字符串“ L”?为了将字符存储为二进制形式,计算机首先将该字符转换为数字,然后将该数字转换为二进制表示,因此,对于字符串“ L”, 计算机首先将L转换为代表L的数字,让我们看如何操作:

打开浏览器控制台,粘贴以下代码段:"L".charCodeAt(0),按 Enter,你看到了什么?数字76?这就是字母L的数字编码,但是计算机怎么知道具体哪个数字代表那个字母呢?如何知道数字76表示L?


 字符集

字符集是已经定义的一套规则,明确指出每个数字代表的字符,这些规则有不同的定义,流行的规则包括 Unicode 和 ASCII,JavaScript 在 Unicode 字符集方面的表现非常好,实际上,在浏览器中,它是 Unicode(可以尝试其他字符集),指出76表示大写“L”。

我们已经了解了计算机如何用数字表示字符,现在,计算机将依次将数字76表示为其二进制形式,你可能会认为,只需将76转换为以2为底的数字系统,没那么快!


 字符编码

 就像字符集规则定义那些数字代表那些字符一样,也有一些规则定义了如何使用二进制形式中表示该数字,具体来说,就是使用多少位来表示数字,这就是字符编码。

我们常见字符编码之一是 UTF-8,UTF-8 规定字符以字节表示,一个字节是8位(bit),即8个1和0表示一个字节,所以,用8个1和0组成的二进制序列,来表示和存储任意的一个字符。

为了更好的理解,举个例子: 比如之前提到的12的二进制表示是1100。 所以,使用 UTF-8 的格式来表示,应该使用一个字节,也就是8位来完整表示,也即00001100, 没有错吧?

因此,76在计算机中的存储形式应该是01001100。

这就是计算机将字符存储成二进制的方式。当然,计算机也有一些特殊规则,将图片、视频等存储为二进制的,总之,计算机会将无论图片、视频或其他数据都转换为二进制并存储,这就是我们说的二进制数据。

如果你对字符编码非常感兴趣,那你可以参考一下这篇文章


 Stream

 在Node.js中,流(stream)就是一系列从A点到B点移动的数据,完整点的说,就是当你有一个很大的数据需要传输、搬运时,你不需要等待所有数据都传输完成才开始下一步工作。

实际上,大型数据会被分割成小块(chunks)进行传输。所以,buffer 的原始定义中所说的(“streams of binary data… in the context of… file system”)意思就是说二进制数据在文件系统中的传输。比如,将 file1.txt 的文字存储到 file2.txt 中。

但是,buffer 到底在流(stream)中,是如何操作二进制数据的?buffer 到底是什么呢?


 Buffer

 我们已经知道数据流(stream of data)是从一个地方向另一个地方传输数据的过程,但是这个具体是怎么样的一个过程?

通常情况下,我们传输数据往往是为了读取它,处理它,或者基于这些数据做一些其他操作,但是,在每次传输过程中,有一个数据量的问题。因此当获取到数据的时间比处理数据理的时间快时,我们处理数据就需要等待了。

这个”等待区域”就是 buffer! 它是电脑上的一个很小的物理地址,一般在内存中,数据在这里暂时存储,等待,最后在流(stream)中,发送出去并处理,比如说和显卡相关的 webgl 处理就是一个例子。

我们可以把整个流(stream)和 buffer 的配合过程看作公交站。在一些公交站,公车在没有装满乘客前是不会发车的,或者在特定的时刻才会发车。当然,乘客也可能在不同的时间,人流量大小也会有所不同,有人多的时候,有人少的时候,乘客或公交站都无法控制人流量。

不论何时,早到的乘客都必须等待,直到公车接到指令可以发车。当乘客到站,发现公车已经装满,或者已经开走,他就必须等待下一班车次。

总之,这里总会有一个等待的地方,这个等待的区域就是 Node.js 中的 Buffer,Node.js 不能控制数据什么时候传输过来,传输速度,就好像公交车站无法控制人流量一样。他只能决定什么时候发送数据。如果时间还不到,那么 Node.js 就会把数据放入 buffer(等待区域)中,一个在内存中的地址,直到把他们发送出去进行处理。

一个关于 buffer 很典型的例子,就是你在线看视频的时候。如果你的网络足够快,数据流(stream)就可以足够快,可以让 buffer 迅速填满然后发送和处理,然后处理另一个,再发送,再另一个,再发送,然后整个 stream 完成。

但是当你网络连接很慢,当处理完当前的数据后,你的播放器就会暂停,或出现”缓冲”(buffer)字样,意思是正在收集更多的数据,或者等待更多的数据到来,才能下一步处理。当buffer装满并处理好,播放器就会显示数据,也就是播放视频了。在播放当前内容的时候,更多的数据也会源源不断的传输、到达和在 buffer 等待。


 这就是 buffer!

 从原始的定义,我们知道,buffer 可以在 stream 中与二进制数据进行交互和操作。那么到底可以进行什么样的操作呢?在 Node.js 中又应该如何进行刚才所描述的一些东西呢?我们来瞧一瞧。


与 buffer 交互

你可以创建自己的缓冲区!在 stream 中,Node.js 会自动帮你创建 buffer 之外,你可以创建自己的 buffer 并操作它,是不是很有趣? 我们来创建一个!

根据不同的需求,可以使用不同的方法来创建缓冲区。

// 创建一个大小为 10 的空 buffer
// 这个 buffer 只能承载10个字节的内容
 
const buf1 = Buffer.alloc(10);
 
// 根据内容直接创建 buffer
const buf2 = Buffer.from("hello buffer");
 
创建缓冲区后,就可以操作了
 
// 检查下buffer的结构
 
buf1.toJSON()
// { type: 'Buffer', data: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0] }
 
// 一个空的 buffer
buf2.toJSON()
 
// { type: 'Buffer', data: [104, 101, 108, 108, 111, 32, 98, 117, 102, 102, 101, 114] }
// the toJSON() 方法可以将数据进行 Unicode 编码并展示
 
// 检查 buffer 的大小
 
buf1.length // 10
 
buf2.length // 12 根据数据自动填充并创建
 
// 写入数据到 buffer
buf1.write("Buffer really rocks!")
 
// 解码buffer
 
buf1.toString() // 'Buffer rea'
 
// 对不起,因为buf1只能承载10个字节的内容,所有多处的东西会被截断

我们可以使用 buffer 进行更多操作,前往官方文档,进一步了解这些方法。

最后,我将面临这个小挑战:仔细阅读 Node.js 的核心库之一 zlib.js 的源代码,以了解它如何利用 buffer 的功能来操作二进制数据流,处理后,最后变成gziped文件。 当你在阅读的时候,记录下你的学习经历并在评论中分享下来吧。

希望本文能帮助你更好地了解 Node.js Buffer。

如果你觉得这篇文章不错,而其他人也有机会看到这一点,点个赞吧,以帮助其他人更好地理解 Buffer。

原文


吐血推荐

1.站长广告联盟: 整理了目前主流的广告联盟平台,如果你有流量,可以作为参考选择适合你的平台点击进入...

2.休闲娱乐: 直播/交友    优惠券领取   网页游戏   H5游戏

链接: http://www.fly63.com/article/detial/7240

在Node.js 12 中使用 ESM

Node.js 12 之后开始支持 ECMAScript Modules(简称ESM),不过并不是默认开启或者自动切换。坦率地说我也卡了一阵子才搞清楚怎么直接使用。简单记一下吧。

路径 alias 在 Node 中的最佳姿势

根据当前自己已有的知识体系,先想想有哪几种解决方案,然后再去查找业界的解决方案,这样,我们才能不断完善自己的知识体系,培养足够的思维能力。

Node.js v13.2.0 开始支持ES modules了

Node.js 前不久发布了v13.2.0,宣布开始支持ES modules。在此之前,想要在node中使用ES modules,需要添加--experimental-module。v13.2.0版本后,可以直接使用ES modules了。

node初步学习

Node.js 是单进程单线程应用程序,但是因为 V8 引擎提供的异步执行回调接口,通过这些接口可以处理大量的并发,所以性能非常高。Node.js 几乎每一个 API 都是支持回调函数的

Node.js 中的流

Node.js 中的流(Stream)是出了名的难用甚至是难以理解。用 Dominic Tarr 的话来说:“流是 Node 中最好的,也是最容易被误解的想法。”即使是 Redux 的创建者和 React.js 的核心团队成员 Dan Abramov 也害怕 Node 流。

把你的NodeJS程序给没有NodeJS的人运行

众所周知,NodeJS程序开发简便且容易实现跨平台。但是,当你开发了一个NodeJS程序,想要分发给其他人运行的时候,你会发现,你往往需要对方也来安装一个NodeJS环境

Node.js到底是什么?

接触前端也有一段时间了,逐渐开始接触Node.js,刚刚接触Node.js的时候一直都以为Node.js就是JavaScript,当对Node.js有一定的了解之后,其实并不然两者之间有关系,其中的关系又不是必然的,对Node.js进行的一些了解

前端有必要去学 Node.js 吗?

可能你看过Node是什么,看过Node的文档,用Node写过一些小项目。但是如果问你——你知道在一线互联网企业里,Node真正是怎么用的吗?是拿来做什么的?怎么做?

Node.js是什么?

如果你有一定的前端基础,比如 HTML、CSS、JavaScript、jQuery;那么,Node.js 能让你以最低的成本快速过渡成为一个全栈工程师(我称这个全栈为伪全栈,我认为的全栈也要精通数据库,不喜勿喷),从而触及后端和移动端的开发。

为什么要用node做中间层?

node在现在为止算是前端不可分割的一部分了,那么从当初的无人问津,到现在的前端mv*架构采用node和webpack之外,许多的中大型公司也采用后端+node中间层+前端的模式。有人会问了,node的职责转发api,nginx不就能做到吗

fly63.com版权所有,内容以共享、参考、研究为目的,不存在任何商业目的。其版权属原作者所有,如有侵权,请与小编联系!情况属实本人将予以删除!

文章投稿关于web前端网站点搜索站长推荐网站地图站长QQ:522607023

小程序专栏: 土味情话心理测试脑筋急转弯幽默笑话段子句子语录成语大全