nodejshttp20

1. Nodejs中使用request

在Node.js中，处理HTTP请求是一项基础且重要的任务。本文将介绍如何使用request库，包括异步和同步请求的实现，以及如何在Node.js环境中构建和管理HTTP服务。

首先，我们来谈谈异步请求。使用request库，你需要进行以下步骤：

1. 安装request模块：`npm install request`

2. 对于GET和POST请求，异步request的用法有所不同。例如，发送GET请求：`request.get('http://example.com', callback)`，而POST请求则需要传递一个JSON对象：`request.post('http://example.com', {json: {key: 'value'}}, callback)`。

同步request的实现更为直接，如sync-request，但请注意，它可能不是最佳实践，因为它会阻塞Node.js事件循环。同步请求的安装和使用方法与异步类似，但返回的是完整的response对象。

在Node.js中，处理HTTP请求涉及到Request（req）和Response（res）对象。你可以通过`http`模块创建一个服务器，监听本地IP（127.0.0.1）或localhost。定义路由时，需要确定方法（GET或POST）、URL规则以及输入和输出的格式。例如，通过`req.method`和`req.url`获取请求方法和URL，然后进行相应的处理。

querystring在HTTP请求中扮演着传递参数的角色，它可以帮助解析URL中的查询字符串。虽然hash（#后面的内容）不能被服务器获取，但可以用于实现动态网页。数据的结构化和非结构化在编程中至关重要，尽量使用结构化的数据便于处理。

返回数据时，利用`res.writeHead()`设置状态码、内容类型和body。例如，返回JSON数据时，`res.end(JSON.stringify(data))`。对于HTML数据，需要设置`Content-type`为`text/html`。

获取Request Body时，由于数据通常是通过流传输的，你需要在浏览器接收完整内容后再进行处理。流可以用于处理视频或大文件，浏览器会自动接收并分段处理。

总的来说，Node.js中的HTTP请求处理涉及模块的安装、请求类型的区别、路由设置、参数解析、响应数据和流处理等环节。通过这些步骤，你可以有效地管理你的HTTP服务。

2. nodejshttp不走系统代理

现在使用的代理大部分为HTTP和Socket代理。 Socket代理更底层，需要本地解析域名，而HTTP代理则是基于HTTP协议之上的，不需要本地解析域名。下面我讲讲HTTP(S)代理的设计思路以及NodeJS代码实现。
<br/>
<br/><strong>HTTP协议</strong>
<br/>
<br/>HTTP协议简单说来就是浏览器把一串字符串发送到目标服务器，然后把目标服务器返回回来的一串字符串显示给用户。
<br/>
<br/>浏览器发送链银岩的这串字符主要分为两个部分，一部分是头，里面包含目标服务器域名，当前请求的文件路径等信息。另一部分是正文，一般的GET请求没有正文。
<br/>
<br/>服务器返回来的字符串也分为头和正文。
<br/>
<br/><strong>HTTP代理原理</strong>
<br/>
<br/>HTTP代理需要做的事情就是接收浏览器发来的请求字符串，再从请求字符串的头部分找出浏览器请求的目标主机，然后直接把这串请求字符串发给目标主机，再把目标主机返回的数据发给浏览器。 “什么？就这么简单？” “呃。。是啊，但这还没完。。”
<br/>
<br/>现代浏览器一般都是默认采用HTTP/1.1版本，并且默认会发送Connection: keep-alive请求。 这些信息是写在请求的头部的，意思是通知目标服务器采用keep-alive技术继续处理后续的请求。 但是我们做的代理程序要想支持keep-alive是比较麻烦的。所以干脆就把这个篡改成Connection: close。 这样就可以保证浏览器请求的每个文件都会单独发送一个HTTP请求。
<br/>
<br/><strong>下面是NodeJS代码实现</strong>
<br/><pre escaped=“true” lang=“javascript”>var net = require(‘net’);
<br/>var local_port = 8893;
<br/>
<br/>//在本地创建一个server监听本地local_port端口
<br/>net.createServer(function (client)
<br/>{
<br/>
<br/> //首先监听浏览器的数据发送事件，直到收到的数据包含完整的http请求头
<br/> var buffer = new Buffer(0);
<br/> client.on(‘data’,function(data)
<br/> {
<br/> buffer = buffer_add(buffer,data);
<br/> if (buffer_find_body(buffer) == -1) return;
<br/> var req = parse_request(buffer);
<br/> if (req === false) return;
<br/> client.removeAllListeners(‘data’);
<br/> relay_connection(req);
<br/> });
<br/>
<br/> //从http请求头部取得请求信息后，继续监听浏览器发送数据，同时连接目标服务器，并把目标服务器的数据传给浏览器代理的出现是因为浏览器同源策略的存在
服务端实现代理的例子和方法很多 比如nginx 反向代理解决生产环境的跨域问题
再有http-server等一些第三方的包帮我处理 基本达到了开箱即用的体验
通常我们所说的代理来源于http1.1的定义，代理扮演的是「中间人」角色，对于连接到它的客户端来说，它是服务端；对于要连接的服务端来说，它是棚御客户端。它就负责在两端之间来回传送 HTTP 报文
假如我通过代理访问A网站，对于A来说，它会把代理当做客户端，完全察觉不到真正客户端的存在，这实现了隐藏客户端IP的目的。
但是他们到底是如何实现的 ，值得一探究竟，下面是用原生nodejs 写个以后个代理

const http = require("http");
const url = require("url");
//首先启动本地服务器
http.createServer(function(req, res) {
//客户端请求有两种方式，可以是对象，也可以是url字符串
//1.这里采取的是对象形式，包括url对象以及headers
var options = url.parse(req.url);
options.headers = req.headers;
//2.如果采取字符串形式，就传入一个完整的url字符串，node会自动解析成url对象

//通过客户端请求新建一个代理服搏高务器
//代理请求仿照本地请求头的数据
var proxyRequest = http.request(options, function(proxyResponse) { //代理请求获取的数据再返回给本地res
proxyResponse.on('data', function(chunk) {
console.log('proxyResponse length:', chunk.length);
res.write(chunk, 'binary');
});
//当代理请求不再收到新的数据，告知本地res数据写入完毕。
proxyResponse.on('end', function() {
console.log('proxied request ended');
res.end();
});

res.writeHead(proxyResponse.statusCode, proxyResponse.headers);
});

//data只有当请求体数据进来时才会触发
//尽管没有请求体数据进来，data还是要写，否则不会触发end事件
req.on('data', function(chunk) {
console.log('in request length:', chunk.length);
proxyRequest.write(chunk, 'binary');
});

req.on('end', function() {
//向proxy发送求情，这里end方法必须被调用才能发起代理请求
//所有的客户端请求都需要通过end来发起
proxyRequest.end();
});

}).listen(8080);
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
以上代码的核心思想就是用http.request充当了中间人的角色 帮我们去目标地址取数据然后在把得到的数据传回去。可以看作是设计模式中代理模式的一种实践

3. nodejs的http.createServer过程解析

Node.js中http.createServer过程解析如下：

1. 入口函数：

   • http.createServer函数是创建HTTP服务器的入口，它位于lib/http.js模块中。
   • 该函数进行了一些封装操作，并引导至_http_server.js模块。

2. 核心逻辑位置：

   • 在_http_server.js中，逻辑并不复杂，继续深入会触及到lib/net.js模块。
   • lib/net.js模块是http.createServer核心逻辑所在，它基于Node.js的net模块。

3. JavaScript层面的逻辑：

   • http.createServer过程主要在JavaScript层面进行，未涉及太多复杂逻辑。

4. listen函数与TCP连接：

   • listen函数是net模块提供的关键功能，用于启动服务器监听。
   • 服务器创建一个handle并保存，这个handle是一个TCP对象。
   • 执行bind和listen操作，这些操作进入C++层面的TCP类代码，对应的文件是tcp_wrap.cc。

5. C++层面的初始化与监听：

   • 在C++层面，new TCP实际上是执行了libuv的uv_tcp_init函数，初始化一个uv_tcp_t结构体。
   • uv__stream_init对uv_tcp_t结构体执行初始化操作。
   • bind对应libuv的uv__tcp_bind，listen对应uv_tcp_listen。
   • bind操作包括新建一个socket文件描述符，设置特定标志，并将文件描述符保存到IO观察者中。
   • libuv在poll IO阶段监听该文件描述符，当有事件发生时，执行设置的回调函数uvstream_io。

6. 连接处理：

   • 当IO观察者中保存的文件描述符接收到连接时，调用OnConnection函数。
   • OnConnection函数在connection_wrap.cc定义，负责处理新连接。
   • 在uv_listen函数中，调用uv_tcp_listen来监听连接。
   • 当连接到来时，libuv摘下连接，得到对应的socket，并执行Node.js层的回调函数。

7. 总结：

   • listen函数的主要步骤是设置socket为监听状态，注册事件，等待连接。
   • 连接到来时，调用accept获取新连接，并通过回调新建uv_tcp_t结构体代表新连接。
   • 设置新连接的可读写事件，并等待数据，最后执行net.js设置的onconnection回调。

至此，服务器启动并开始接收连接的过程完成。后续过程包括用户数据的读写，这通常通过libuv提供的事件循环和回调函数来处理。

4. 通过nodejs源码理解http connect的原理和实现

HTTP CONNECT的原理与实现在Node.js源码中的理解如下：

一、HTTP CONNECT的主要用途 代理服务器请求转发：HTTP CONNECT方法主要用于代理服务器，允许客户端通过代理服务器与目标业务服务器建立TCP连接，并转发请求。

二、HTTP CONNECT的工作原理1. 客户端与代理服务器建立TCP连接：客户端首先与代理服务器建立TCP连接，并发送HTTP CONNECT请求。2. 代理服务器解析请求：代理服务器解析HTTP CONNECT请求，获取目标业务服务器的地址和端口。3. 代理服务器与目标业务服务器建立TCP连接：代理服务器与目标业务服务器建立TCP连接，准备转发请求。4. 请求转发与响应返回：代理服务器通过已建立的TCP连接转发客户端的请求给目标业务服务器，并将业务服务器的响应返回给客户端。此过程中，代理服务器无需解析请求内容，直接传递数据。

三、HTTP CONNECT在HTTPS代理中的作用 TLS握手透明化：在HTTPS代理中，HTTP CONNECT方法允许代理服务器作为透明中转，不参与客户端与业务服务器之间的TLS握手和数据加密过程。客户端与业务服务器自行完成TLS握手和HTTPS通信。

四、Node.js实现HTTP CONNECT的原理1. 请求解析：Node.js在接收到HTTP请求后，首先解析请求头。2. 请求类型判断：在解析完头部并执行相应钩子函数后，Node.js判断请求是否为CONNECT请求或升级请求。3. 建立TCP连接：对于CONNECT请求，Node.js与真正的业务服务器建立TCP连接。4. 返回响应头：Node.js返回响应头给客户端，此时客户端可以与实际服务器进行TLS握手和HTTPS通信。5. 数据透传：在TCP连接建立后，Node.js作为透明中转，将客户端的请求数据透传给业务服务器，并将业务服务器的响应数据透传给客户端。

五、Node.js中CONNECT事件的特殊处理 bodyHead参数：在触发CONNECT事件时，Node.js传递的第三个参数bodyHead代表HTTP CONNECT请求中的额外数据。开发者可以利用此特性，构造额外的HTTP请求，并将这部分数据传递给真正的服务器，以优化请求流程。

综上所述，通过理解HTTP CONNECT的原理与实现在Node.js源码中的应用，开发者可以灵活利用此功能优化应用架构，提高系统性能。