nodejshttp协议

『壹』 如何用nodejs实现http压缩传输

推荐来一个中间件，叫自compression

使用见https://www.npmjs.com/package/compression

下面这个use中间件的语句写在所有中间件的前面就行了，抓包可看到有个gzip传输

app.use(compression());

『贰』 nodejshttp不走系统代理

现在使用的代理大部分为HTTP和Socket代理。 Socket代理更底层，需要本地解析域名，而HTTP代理则是基于HTTP协议之上的，不需要本地解析域名。下面我讲讲HTTP(S)代理的设计思路以及NodeJS代码实现。
<br/>
<br/><strong>HTTP协议</strong>
<br/>
<br/>HTTP协议简单说来就是浏览器把一串字符串发送到目标服务器，然后把目标服务器返回回来的一串字符串显示给用户。
<br/>
<br/>浏览器发送链银岩的这串字符主要分为两个部分，一部分是头，里面包含目标服务器域名，当前请求的文件路径等信息。另一部分是正文，一般的GET请求没有正文。
<br/>
<br/>服务器返回来的字符串也分为头和正文。
<br/>
<br/><strong>HTTP代理原理</strong>
<br/>
<br/>HTTP代理需要做的事情就是接收浏览器发来的请求字符串，再从请求字符串的头部分找出浏览器请求的目标主机，然后直接把这串请求字符串发给目标主机，再把目标主机返回的数据发给浏览器。 “什么？就这么简单？” “呃。。是啊，但这还没完。。”
<br/>
<br/>现代浏览器一般都是默认采用HTTP/1.1版本，并且默认会发送Connection: keep-alive请求。 这些信息是写在请求的头部的，意思是通知目标服务器采用keep-alive技术继续处理后续的请求。 但是我们做的代理程序要想支持keep-alive是比较麻烦的。所以干脆就把这个篡改成Connection: close。 这样就可以保证浏览器请求的每个文件都会单独发送一个HTTP请求。
<br/>
<br/><strong>下面是NodeJS代码实现</strong>
<br/><pre escaped=“true” lang=“javascript”>var net = require(‘net’);
<br/>var local_port = 8893;
<br/>
<br/>//在本地创建一个server监听本地local_port端口
<br/>net.createServer(function (client)
<br/>{
<br/>
<br/> //首先监听浏览器的数据发送事件，直到收到的数据包含完整的http请求头
<br/> var buffer = new Buffer(0);
<br/> client.on(‘data’,function(data)
<br/> {
<br/> buffer = buffer_add(buffer,data);
<br/> if (buffer_find_body(buffer) == -1) return;
<br/> var req = parse_request(buffer);
<br/> if (req === false) return;
<br/> client.removeAllListeners(‘data’);
<br/> relay_connection(req);
<br/> });
<br/>
<br/> //从http请求头部取得请求信息后，继续监听浏览器发送数据，同时连接目标服务器，并把目标服务器的数据传给浏览器代理的出现是因为浏览器同源策略的存在
服务端实现代理的例子和方法很多 比如nginx 反向代理解决生产环境的跨域问题
再有http-server等一些第三方的包帮我处理 基本达到了开箱即用的体验
通常我们所说的代理来源于http1.1的定义，代理扮演的是「中间人」角色，对于连接到它的客户端来说，它是服务端；对于要连接的服务端来说，它是棚御客户端。它就负责在两端之间来回传送 HTTP 报文
假如我通过代理访问A网站，对于A来说，它会把代理当做客户端，完全察觉不到真正客户端的存在，这实现了隐藏客户端IP的目的。
但是他们到底是如何实现的 ，值得一探究竟，下面是用原生nodejs 写个以后个代理

const http = require("http");
const url = require("url");
//首先启动本地服务器
http.createServer(function(req, res) {
//客户端请求有两种方式，可以是对象，也可以是url字符串
//1.这里采取的是对象形式，包括url对象以及headers
var options = url.parse(req.url);
options.headers = req.headers;
//2.如果采取字符串形式，就传入一个完整的url字符串，node会自动解析成url对象

//通过客户端请求新建一个代理服搏高务器
//代理请求仿照本地请求头的数据
var proxyRequest = http.request(options, function(proxyResponse) { //代理请求获取的数据再返回给本地res
proxyResponse.on('data', function(chunk) {
console.log('proxyResponse length:', chunk.length);
res.write(chunk, 'binary');
});
//当代理请求不再收到新的数据，告知本地res数据写入完毕。
proxyResponse.on('end', function() {
console.log('proxied request ended');
res.end();
});

res.writeHead(proxyResponse.statusCode, proxyResponse.headers);
});

//data只有当请求体数据进来时才会触发
//尽管没有请求体数据进来，data还是要写，否则不会触发end事件
req.on('data', function(chunk) {
console.log('in request length:', chunk.length);
proxyRequest.write(chunk, 'binary');
});

req.on('end', function() {
//向proxy发送求情，这里end方法必须被调用才能发起代理请求
//所有的客户端请求都需要通过end来发起
proxyRequest.end();
});

}).listen(8080);
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
以上代码的核心思想就是用http.request充当了中间人的角色 帮我们去目标地址取数据然后在把得到的数据传回去。可以看作是设计模式中代理模式的一种实践

『叁』 nodejs里面的express 和 http 的区别在哪里

express是一个网络框架，基于http模块。如果你用express官方的项目生成器，可以在bin/www中看到下面专的代码：

这里就是使用属了http模块。

express官方生成器说明

安心用express写吧，大部分项目没问题的。

『肆』 nodejs做http请求转发，解决js跨域问题(二)

上篇讲了 nodejs做http请求转发，解决js跨域问题(二)
现在遇到一个问题，公司的服务派斗器防火墙针对User-Agent做了拦截。需要特定的User-Agent才能访问到API接口
如果用上篇的方法js的ajax请尘绝磨求目前在很多浏览器中是无法修改User-Agent，这样的话导致api请求可能无法成功。

我们可以在nodejs这一层加入请求修改User-Agent，不仅仅可以在nodejs这一层代理修改User-Agent，还可以修改request和response
例如
下面就修改了request的宏搏headers 添加了mytest=0000000000000和User-Agent= mytest
也修改了request里面的body给body添加了 Type : 'jpg' 以及修改了 FileName : '2.jpg'
一定要注意如果修改了 request 的 body 值一定要重新设置 Content-Length

response原本是返回一个json {"ID":"1234567890","Name":"张三"} ,也把这个json改了，改成 {"ID":"1234567890","Age":2}

『伍』 nodejs 怎样创建一个http长连接的客户端

默认情况下，NodeJS HTTP 服务器对每个客户端的Web Request的连接时长是2分钟，也就是说，一旦2分钟内，你服务器端没有发送response，那么客户端的连接就会被关闭（重置？），在现实的应用中，我后台处理数据的时间可能很长，也许3分钟，也许5分钟，客户也愿意等待，那么我完全可以把连接时长设置的多一些。为了解决这个问题，我找了很久，网上大多数说的是怎么缩短timeout的时间，而且很多都是自己调用全局的setTimeout()函数来控制的，说nodeJs没有提供相应的API。直到昨天才发现，原来nodeJs的Http库，有一个setTimeout()的函数，可以解决这个问题，（我本机的，0.6版是没有这个函数的），这篇文章有提及： http://contourline.wordpress.com/2011/03/30/preventing-server-timeout-in-node-js/

说明：
调用nodeJs API， http.createServer()返回的Server对象，有一个setTimeout()方法，可以传入你想要的连接时长，默认是1200000（即2分钟），改成0表示不会timeout。而response对象，也有一个setTimeout()方法，我不知道两者有什么区别，但是我的理解是server.setTimeout()是全局的，response.setTimeout()只针对本次request。

代码：
对于expressJs，相关代码是：
var server = http.createServer(app);
server.setTimeout(0);
server.listen(app.get('port'), function () {
console.log('Express server listening on port ' + app.get('port'));
});

对于restify，相关代码是：
server.server.setTimeout(0);
server.listen(8080, function () {
console.log('%s listening at %s', server.name, server.url);
});

『陆』 nodejs中tcp服务器和http服务器实现的异同

一，相同点
1，都调用了createServer方法。
2，当客户端接入时都会执行一个回调函数。
二，不同之处
1，回调函数的中对象的类型。net服务器中，是个连接（connect）对象，而在HTTP服务器中，则是请求和响应对象。
2，原因：
1，http服务器是更高层的API，提供了控制和HTTP协议相关的一些功能。
2，浏览器在访问站点时不会只用一个连接，很多主流的浏览器为了更快的加载网站内容，能够像同一个主机打开八个不同的连接，并发送请求。Node为了不让我们担心是请求还是连接，为我们提供了请求和响应的抽象。因此，即使你能通过req.connection属性获得TCP连接对象，但大多数情况下你还是在与请求和响应的抽象打交道。