首页 > 资讯 > 前端开发 > JavaScript >分析Nodejs的Stream模块

764

分享到

分析Nodejs的Stream模块

2024-04-02 19:04:59 764人浏览八月长安

摘要

这篇文章主要讲解了“分析nodejs的Stream模块”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“分析nodejs的Stream模块”吧！　　一，开篇分析

这篇文章主要讲解了“分析nodejs的Stream模块”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“分析nodejs的Stream模块”吧！

　　一，开篇分析
　　流是一个抽象接口，被 Node 中的很多对象所实现。比如对一个 Http 服务器的请求是一个流，stdout 也是一个流。流是可读，可写或兼具两者的。
　　最早接触Stream是从早期的unix开始的，数十年的实践证明Stream 思想可以很简单的开发出一些庞大的系统。
　　在unix里，Stream是通过 "|" 实现的。在node中，作为内置的stream模块，很多核心模块和三方模块都使用到。
　　和unix一样，node stream主要的操作也是.pipe()，使用者可以使用反压力机制来控制读和写的平衡。
　　Stream 可以为开发者提供可以重复使用统一的接口，通过抽象的Stream接口来控制Stream之间的读写平衡。
　　一个tcp连接既是可读流，又是可写流，而Http连接则不同，一个http request对象是可读流，而http response对象则是可写流。
　　流的传输过程默认是以buffer的形式传输的，除非你给他设置其他编码形式,以下是一个例子：

1.

2.

3. 　　var http = require('http') ;

4. 　　var server = http.createServer(function(req,res){

5. 　　res.writeHeader(200, {'Content-Type': 'text/plain'}) ;

6. 　　res.end("Hello,大熊!") ;

7. 　　}) ;

8. 　　server.listen(8888) ;

9. 　　console.log("http server running on port 8888 ...") ;

　　运行后会有乱码出现，原因就是没有设置指定的字符集，比如：“utf-8” 。
　　修改一下就好：
　　var http = require('http') ;

2. 　　var server = http.createServer(function(req,res){

3. 　　res.writeHeader(200,{

4. 　　'Content-Type' : 'text/plain;charset=utf-8' // 添加charset=utf-8

5. 　　}) ;

6. 　　res.end("Hello,大熊!") ;

7. 　　}) ;

8. 　　server.listen(8888) ;

9. 　　console.log("http server running on port 8888 ...") ;

　　运行结果：
　　为什么使用Stream
　　node中的I/O是异步的，因此对磁盘和网络的读写需要通过回调函数来读取数据，下面是一个文件下载例子
　　上代码：

2. 　　var http = require('http') ;

3. 　　var fs = require('fs') ;

4. 　　var server = http.createServer(function (req, res) {

5. 　　fs.readFile(__dirname + '/data.txt', function (err, data) {

6. 　　res.end(data);

7. 　　}) ;

8. 　　}) ;

9. 　　server.listen(8888) ;

　　代码可以实现需要的功能，但是服务在发送文件数据之前需要缓存整个文件数据到内存，如果"data.txt"文件很
　　大并且并发量很大的话，会浪费很多内存。因为用户需要等到整个文件缓存到内存才能接受的文件数据，这样导致
　　用户体验相当不好。不过还好(req,res)两个参数都是Stream，这样我们可以用fs.createReadStream()代替fs.readFile()。如下：

　　var http = require('http') ;

2. 　　var fs = require('fs') ;

3. 　　var server = http.createServer(function (req, res) {

4. 　　var stream = fs.createReadStream(__dirname + '/data.txt') ;

5. 　　stream.pipe(res) ;

6. 　　}) ;

7. 　　server.listen(8888) ;

　　.pipe()方法监听fs.createReadStream()的'data' 和'end'事件，这样"data.txt"文件就不需要缓存整
　　个文件，当客户端连接完成之后马上可以发送一个数据块到客户端。使用.pipe()另一个好处是可以解决当客户
　　端延迟非常大时导致的读写不平衡问题。
　　有五种基本的Stream：readable，writable，transfORM，duplex，and "classic” 。(具体使用请自己查阅api)
　　二，实例引入
　　当内存中无法一次装下需要处理的数据时，或者一边读取一边处理更加高效时，我们就需要用到数据流。NodeJS中通过各种Stream来提供对数据流的操作。
　　以大文件拷贝程序为例，我们可以为数据源创建一个只读数据流，示例如下：
　　var rs = fs.createReadStream(pathname);

2. 　　rs.on('data', function (chunk) {

3. 　　doSomething(chunk) ; // 具体细节自己任意发挥

4. 　　});

5. 　　rs.on('end', function () {

6. 　　cleanUp() ;

7. 　　}) ;

　　代码中data事件会源源不断地被触发，不管doSomething函数是否处理得过来。代码可以继续做如下改造，以解决这个问题。

1.

2.

3. 　　var rs = fs.createReadStream(src) ;

4. 　　rs.on('data', function (chunk) {

5. 　　rs.pause() ;

6. 　　doSomething(chunk, function () {

7. 　　rs.resume() ;

8. 　　}) ;

9. 　　}) ;

10. 　　rs.on('end', function () {

11. 　　cleanUp();

12. 　　}) ;

　　给doSomething函数加上了回调，因此我们可以在处理数据前暂停数据读取，并在处理数据后继续读取数据。
　　此外，我们也可以为数据目标创建一个只写数据流，如下：
　　var rs = fs.createReadStream(src) ;

2. 　　var ws = fs.createWriteStream(dst) ;

3. 　　rs.on('data', function (chunk) {

4. 　　ws.write(chunk);

5. 　　}) ;

6. 　　rs.on('end', function () {

7. 　　ws.end();

8. 　　}) ;

　　doSomething换成了往只写数据流里写入数据后，以上代码看起来就像是一个文件拷贝程序了。但是以上代码存在上边提到的问题，如果写入速度跟不上读取速度的话，只写数据流内部的缓存会爆仓。我们可以根据.write方法的返回值来判断传入的数据是写入目标了，还是临时放在了缓存了，并根据drain事件来判断什么时候只写数据流已经将缓存中的数据写入目标，可以传入下一个待写数据了。因此代码如下：
　　var rs = fs.createReadStream(src) ;

2. 　　var ws = fs.createWriteStream(dst) ;

3. 　　rs.on('data', function (chunk) {

4. 　　if (ws.write(chunk) === false) {

5. 　　rs.pause() ;

6. 　　}

7. 　　}) ;

8. 　　rs.on('end', function () {

9. 　　ws.end();

10. 　　});

11. 　　ws.on('drain', function () {

12. 　　rs.resume();

13. 　　}) ;

　　最终实现了数据从只读数据流到只写数据流的搬运，并包括了防爆仓控制。因为这种使用场景很多，例如上边的大文件拷贝程序，NodeJS直接提供了.pipe方法来做这件事情，其内部实现方式与上边的代码类似。
　　下面是一个更加完整的复制文件的过程：
　　var fs = require('fs'),

2. 　　path = require('path'),

3. 　　out = process.stdout;

4. 　　var filePath = '/bb/bigbear.mkv';

5. 　　var readStream = fs.createReadStream(filePath);

6. 　　var writeStream = fs.createWriteStream('file.mkv');

7. 　　var stat = fs.statSync(filePath);

8. 　　var totalSize = stat.size;

9. 　　var passedLength = 0;

10. 　　var lastSize = 0;

11. 　　var startTime = Date.now();

12. 　　readStream.on('data', function(chunk) {

13. 　　passedLength += chunk.length;

14. 　　if (writeStream.write(chunk) === false) {

15. 　　readStream.pause();

16. 　　}

17. 　　});

18. 　　readStream.on('end', function() {

19. 　　writeStream.end();

20. 　　});

21. 　　writeStream.on('drain', function() {

22. 　　readStream.resume();

23. 　　});

24. 　　setTimeout(function show() {

25. 　　var percent = Math.ceil((passedLength / totalSize) * 100);

26. 　　var size = Math.ceil(passedLength / 1000000);

27. 　　var diff = size - lastSize;

28. 　　lastSize = size;

29. 　　out.clearLine();

30. 　　out.cursorTo(0);

31. 　　out.write('已完成' + size + 'MB, ' + percent + '%, 速度：' + diff * 2 +

32. 'MB/s');

33. 　　if (passedLength < totalSize) {

34. 　　setTimeout(show, 500);

35. 　　} else {

36. 　　var endTime = Date.now();

37. 　　console.log();

38. 　　console.log('共用时：' + (endTime - startTime) / 1000 + '秒。');

39. 　　}

40. 　　}, 500);

　　可以把上面的代码保存为 "copy.js" 试验一下我们添加了一个递归的 setTimeout (或者直接使用setInterval)来做一个旁观者，
　　每500ms观察一次完成进度，并把已完成的大小、百分比和复制速度一并写到控制台上，当复制完成时，计算总的耗费时间。

感谢各位的阅读，以上就是“分析Nodejs的Stream模块”的内容了，经过本文的学习后，相信大家对分析Nodejs的Stream模块这一问题有了更深刻的体会，具体使用情况还需要大家实践验证。这里是编程网，小编将为大家推送更多相关知识点的文章，欢迎关注！

点击免费下载>>软考高级考试备考技巧/历年真题/备考精华资料

--结束END--

本文标题: 分析Nodejs的Stream模块

本文链接: https://www.lsjlt.com/news/85523.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑，方便收藏和打印～

下载Word文档

去做题

回答

如何调试操作系统的错误？
操作系统

2023-11-15发布

回答

操作系统中的I/O系统是如何实现的？
操作系统

2023-11-15发布

回答

如何实现操作系统的内存管理？
操作系统

2023-11-15发布

回答

什么是虚拟内存，它对操作系统有什么影响？
操作系统

2023-11-15发布

回答

ASP中的MVC架构和WebForms架构有什么区别和使用场景？
ASP.NET

2023-11-15发布

回答

ASP中的数据验证和数据校验有什么不同？
ASP.NET

2023-11-15发布

回答

ASP中的ADO对象和DAO对象有什么区别和使用方法？
ASP.NET

2023-11-15发布

回答

Node.js中的包管理器NPM是什么？如何使用它进行依赖管理？
node.js

2023-11-15发布

回答

Vue.js中的动态组件是什么？如何使用它来动态渲染组件？
VUE

2023-11-15发布

回答

如何使用Vue.js实现懒加载和预加载？
VUE

2023-11-15发布

分析Nodejs的Stream模块

本篇文章演示代码以及资料文档资料下载

分析Nodejs的Stream模块

Nodejs学习笔记之Stream模块

Nodejs中stream流模块怎么样

nodejs模块系统源码分析

nodejs中模块定义的示例分析

Nodejs中模块规范的示例分析

Nodejs中文分词常用模块用法分析

深入浅析Nodejs的Http模块

Nodejs文件模块中fs.mkdir和fs.rmdir的示例分析

Nodejs文件操作和stream的示例分析

浅析Node.js的Stream模块中的Readable对象

nodejs模块学习之connect解析

Nodejs v14源码分析之如何使用Event模块

实例分析nodejs模块xml2js解析xml过程中遇到的坑

nodejs入门教程四：URL相关模块用法分析

nodejs基于mssql模块连接sqlserver数据库的示例分析

nodejs之域名解析模块DNS的简介

浅析Nodejs中的http模块和导出共享

nodejs中的http模块与npm模块使用

详解Nodejs的timers模块

京东一面：post为什么会发送两次请求？???

鼠标划过时整行变色284607详解

鼠标划过时整行变色284415处理办法

TypeScript接口和类型的区别小结

细说JS数组遍历的一些细节及实现

深入浅出JavaScript前端中的设计模式

初学者如何快速搭建Express开发系统步骤详解

JavaScrip简单数据类型隐式转换的实现

前端Website sitemap.xml文件搜索引擎优化

vue使用Swiper踩坑解决避坑