本篇文章将带着大家一起分析Node.js的多进程模型

作者: 前端  发布:2019-11-04

Nodejs cluster 模块深入探究

2017/08/16 · 基础技术 · 2 评论 · NodeJS

本文作者: 伯乐在线 - 欲休 。未经作者许可,禁止转载!
欢迎加入伯乐在线 专栏作者。

### 由表及里 HTTP服务器用于响应来自客户端的请求,当客户端请求数逐渐增大时服务端的处理机制有多种,如tomcat的多线程、nginx的事件循环等。而对于node而言,由于其也采用事件循环和异步I/O机制,因此在高I/O并发的场景下性能非常好,但是由于单个node程序仅仅利用单核cpu,因此为了更好利用系统资源就需要fork多个node进程执行HTTP服务器逻辑,所以node内建模块提供了child_process和cluster模块。 利用childprocess模块,我们可以执行shell命令,可以fork子进程执行代码,也可以直接执行二进制文件;利用cluster模块,使用node封装好的API、IPC通道和调度机可以非常简单的创建包括一个master进程下HTTP代理服务器 + 多个worker进程多个HTTP应用服务器的架构,并提供两种调度子进程算法。本文主要针对cluster模块讲述node是如何实现简介高效的服务集群创建和调度的。那么就从代码进入本文的主题:code1**

const cluster = require('cluster'); const http = require('http'); if (cluster.isMaster) { let numReqs = 0; setInterval(() => { console.log(<code>numReqs = ${numReqs}</code>); }, 1000); function messageHandler(msg) { if (msg.cmd && msg.cmd === 'notifyRequest') { numReqs += 1; } } const numCPUs = require('os').cpus().length; for (let i = 0; i < numCPUs; i++) { cluster.fork(); } for (const id in cluster.workers) { cluster.workers[id].on('message', messageHandler); } } else { // Worker processes have a http server. http.Server((req, res) => { res.writeHead(200); res.end('hello worldn'); process.send({ cmd: 'notifyRequest' }); }).listen(8000); }

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
const cluster = require('cluster');
const http = require('http');
 
if (cluster.isMaster) {
 
  let numReqs = 0;
  setInterval(() => {
    console.log(<code>numReqs = ${numReqs}</code>);
  }, 1000);
 
  function messageHandler(msg) {
    if (msg.cmd && msg.cmd === 'notifyRequest') {
      numReqs += 1;
    }
  }
 
  const numCPUs = require('os').cpus().length;
  for (let i = 0; i < numCPUs; i++) {
    cluster.fork();
  }
 
  for (const id in cluster.workers) {
    cluster.workers[id].on('message', messageHandler);
  }
 
} else {
 
  // Worker processes have a http server.
  http.Server((req, res) => {
    res.writeHead(200);
    res.end('hello worldn');
 
    process.send({ cmd: 'notifyRequest' });
  }).listen(8000);
}

主进程创建多个子进程,同时接受子进程传来的消息,循环输出处理请求的数量; 子进程创建http服务器,侦听8000端口并返回响应。 泛泛的大道理谁都了解,可是这套代码如何运行在主进程和子进程中呢?父进程如何向子进程传递客户端的请求?多个子进程共同侦听8000端口,会不会造成端口reuse error?每个服务器进程最大可有效支持多少并发量?主进程下的代理服务器如何调度请求? 这些问题,如果不深入进去便永远只停留在写应用代码的层面,而且不了解cluster集群创建的多进程与使用child_process创建的进程集群的区别,也写不出符合业务的最优代码,因此,深入cluster还是有必要的。 ## cluster与net cluster模块与net模块息息相关,而net模块又和底层socket有联系,至于socket则涉及到了系统内核,这样便由表及里的了解了node对底层的一些优化配置,这是我们的思路。介绍前,笔者仔细研读了node的js层模块实现,在基于自身理解的基础上诠释上节代码的实现流程,力图做到清晰、易懂,如果有某些纰漏也欢迎读者指出,只有在互相交流中才能收获更多。 ### 一套代码,多次执行 很多人对code1代码如何在主进程和子进程执行感到疑惑,怎样通过_cluster.isMaster判断语句内的代码是在主进程执行,而其他代码在子进程执行呢? 其实只要你深入到了node源码层面,这个问题很容易作答。cluster模块的代码只有一句:

module.exports = ('NODE<em>UNIQUE_ID' in process.env) ? require('internal/cluster/child') : require('internal/cluster/master');</em>

1
2
3
module.exports = ('NODE<em>UNIQUE_ID' in process.env) ?
                  require('internal/cluster/child') :
                  require('internal/cluster/master');</em>

只需要判断当前进程有没有环境变量“NODE_UNIQUE_ID”就可知道当前进程是否是主进程;而变量“NODE_UNIQUE_ID”则是在主进程fork子进程时传递进去的参数,因此采用cluster.fork创建的子进程是一定包含“NODE_UNIQUE_ID”的。 这里需要指出的是,必须通过cluster.fork创建的子进程才有NODE_UNIQUE_ID变量,如果通过child_process.fork的子进程,在不传递环境变量的情况下是没有NODE_UNIQUE_ID的。因此,当你在child_process.fork的子进程中执行cluster.isMaster判断时,返回 true。 ### 主进程与服务器 code1中,并没有在cluster.isMaster的条件语句中创建服务器,也没有提供服务器相关的路径、端口和fd,那么主进程中是否存在TCP服务器,有的话到底是什么时候怎么创建的? 相信大家在学习nodejs时阅读的各种书籍都介绍过在集群模式下,主进程的服务器会接受到请求然后发送给子进程,那么问题就来到主进程的服务器到底是如何创建呢?主进程服务器的创建离不开与子进程的交互,毕竟与创建服务器相关的信息全在子进程的代码中。 当子进程执行

http.Server((req, res) => { res.writeHead(200); res.end('hello worldn'); process.send({ cmd: 'notifyRequest' }); }).listen(8000);

1
2
3
4
5
6
http.Server((req, res) => {
    res.writeHead(200);
    res.end('hello worldn');
 
    process.send({ cmd: 'notifyRequest' });
  }).listen(8000);

时,http模块会调用net模块(确切的说,http.Server继承net.Server),创建net.Server对象,同时侦听端口。创建net.Server实例,调用构造函数返回。创建的net.Server实例调用listen(8000),等待accpet连接。那么,子进程如何传递服务器相关信息给主进程呢?答案就在listen函数中。我保证,net.Server.prototype.listen函数绝没有表面上看起来的那么简单,它涉及到了许多IPC通信和兼容性处理,可以说HTTP服务器创建的所有逻辑都在listen函数中。 > 延伸下,在学习linux下的socket编程时,服务端的逻辑依次是执行socket(),bind(),listen()和accept(),在接收到客户端连接时执行read(),write()调用完成TCP层的通信。那么,对应到node的net模块好像只有listen()阶段,这是不是很难对应socket的四个阶段呢?其实不然,node的net模块把“bind,listen”操作全部写入了net.Server.prototype.listen中,清晰的对应底层socket和TCP三次握手,而向上层使用者只暴露简单的listen接口。 code2

Server.prototype.listen = function() { ... // 根据参数创建 handle句柄 options = options._handle || options.handle || options; // (handle[, backlog][, cb]) where handle is an object with a handle if (options instanceof TCP) { this._handle = options; this[async_id_symbol] = this._handle.getAsyncId(); listenInCluster(this, null, -1, -1, backlogFromArgs); return this; } ... var backlog; if (typeof options.port === 'number' || typeof options.port === 'string') { if (!isLegalPort(options.port)) { throw new RangeError('"port" argument must be >= 0 and < 65536'); } backlog = options.backlog || backlogFromArgs; // start TCP server listening on host:port if (options.host) { lookupAndListen(this, options.port | 0, options.host, backlog, options.exclusive); } else { // Undefined host, listens on unspecified address // Default addressType 4 will be used to search for master server listenInCluster(this, null, options.port | 0, 4, backlog, undefined, options.exclusive); } return this; } ... throw new Error('Invalid listen argument: ' + util.inspect(options)); };

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
Server.prototype.listen = function() {
 
  ...
 
  // 根据参数创建 handle句柄
  options = options._handle || options.handle || options;
  // (handle[, backlog][, cb]) where handle is an object with a handle
  if (options instanceof TCP) {
    this._handle = options;
    this[async_id_symbol] = this._handle.getAsyncId();
    listenInCluster(this, null, -1, -1, backlogFromArgs);
    return this;
  }
 
  ...
 
  var backlog;
  if (typeof options.port === 'number' || typeof options.port === 'string') {
    if (!isLegalPort(options.port)) {
      throw new RangeError('"port" argument must be >= 0 and < 65536');
    }
    backlog = options.backlog || backlogFromArgs;
    // start TCP server listening on host:port
    if (options.host) {
      lookupAndListen(this, options.port | 0, options.host, backlog,
                      options.exclusive);
    } else { // Undefined host, listens on unspecified address
      // Default addressType 4 will be used to search for master server
      listenInCluster(this, null, options.port | 0, 4,
                      backlog, undefined, options.exclusive);
    }
    return this;
  }
 
  ...
 
  throw new Error('Invalid listen argument: ' + util.inspect(options));
};

由于本文只探究cluster模式下HTTP服务器的相关内容,因此我们只关注有关TCP服务器部分,其他的Pipe(domain socket)服务不考虑。 listen函数可以侦听端口、路径和指定的fd,因此在listen函数的实现中判断各种参数的情况,我们最为关心的就是侦听端口的情况,在成功进入条件语句后发现所有的情况最后都执行了listenInCluster函数而返回,因此有必要继续探究。 code3

function listenInCluster(server, address, port, addressType, backlog, fd, exclusive) { ... if (cluster.isMaster || exclusive) { server._listen2(address, port, addressType, backlog, fd); return; } // 后续代码为worker执行逻辑 const serverQuery = { address: address, port: port, addressType: addressType, fd: fd, flags: 0 }; ... cluster._getServer(server, serverQuery, listenOnMasterHandle); }

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
function listenInCluster(server, address, port, addressType,
                         backlog, fd, exclusive) {
 
  ...
 
  if (cluster.isMaster || exclusive) {
    server._listen2(address, port, addressType, backlog, fd);
    return;
  }
 
  // 后续代码为worker执行逻辑
  const serverQuery = {
    address: address,
    port: port,
    addressType: addressType,
    fd: fd,
    flags: 0
  };
 
  ...
 
  cluster._getServer(server, serverQuery, listenOnMasterHandle);
}

listenInCluster函数传入了各种参数,如server实例、ip、port、ip类型(IPv6和IPv4)、backlog(底层服务端socket处理请求的最大队列)、fd等,它们不是必须传入,比如创建一个TCP服务器,就仅仅需要一个port即可。 简化后的listenInCluster函数很简单,cluster模块判断当前进程为主进程时,执行_listen2函数;否则,在子进程中执行cluster._getServer函数,同时像函数传递serverQuery对象,即创建服务器需要的相关信息。 因此,我们可以大胆假设,子进程在cluster._getServer函数中向主进程发送了创建服务器所需要的数据,即serverQuery。实际上也确实如此: code4

cluster._getServer = function(obj, options, cb) { const message = util._extend({ act: 'queryServer', index: indexes[indexesKey], data: null }, options); send(message, function modifyHandle(reply, handle) => { if (typeof obj._setServerData === 'function') obj._setServerData(reply.data); if (handle) shared(reply, handle, indexesKey, cb); // Shared listen socket. else rr(reply, indexesKey, cb); // Round-robin. }); };

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
cluster._getServer = function(obj, options, cb) {
 
  const message = util._extend({
    act: 'queryServer',
    index: indexes[indexesKey],
    data: null
  }, options);
 
  send(message, function modifyHandle(reply, handle) => {
    if (typeof obj._setServerData === 'function')
      obj._setServerData(reply.data);
 
    if (handle)
      shared(reply, handle, indexesKey, cb);  // Shared listen socket.
    else
      rr(reply, indexesKey, cb);              // Round-robin.
  });
 
};

子进程在该函数中向已建立的IPC通道发送内部消息message,该消息包含之前提到的serverQuery信息,同时包含act: ‘queryServer’字段,等待服务端响应后继续执行回调函数modifyHandle。 主进程接收到子进程发送的内部消息,会根据act: ‘queryServer’执行对应queryServer方法,完成服务器的创建,同时发送回复消息给子进程,子进程执行回调函数modifyHandle,继续接下来的操作。 至此,针对主进程在cluster模式下如何创建服务器的流程已完全走通,主要的逻辑是在子进程服务器的listen过程中实现。 ### net模块与socket 上节提到了node中创建服务器无法与socket创建对应的问题,本节就该问题做进一步解释。在net.Server.prototype.listen函数中调用了listenInCluster函数,listenInCluster会在主进程或者子进程的回调函数中调用_listen2函数,对应底层服务端socket建立阶段的正是在这里。

function setupListenHandle(address, port, addressType, backlog, fd) { // worker进程中,_handle为fake对象,无需创建 if (this._handle) { debug('setupListenHandle: have a handle already'); } else { debug('setupListenHandle: create a handle'); if (rval === null) rval = createServerHandle(address, port, addressType, fd); this._handle = rval; } this[async_id_symbol] = getNewAsyncId(this._handle); this._handle.onconnection = onconnection; var err = this._handle.listen(backlog || 511); }

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
function setupListenHandle(address, port, addressType, backlog, fd) {
 
  // worker进程中,_handle为fake对象,无需创建
  if (this._handle) {
    debug('setupListenHandle: have a handle already');
  } else {
    debug('setupListenHandle: create a handle');
 
    if (rval === null)
      rval = createServerHandle(address, port, addressType, fd);
 
    this._handle = rval;
  }
 
  this[async_id_symbol] = getNewAsyncId(this._handle);
 
  this._handle.onconnection = onconnection;
 
  var err = this._handle.listen(backlog || 511);
 
}

通过createServerHandle函数创建句柄(句柄可理解为用户空间的socket),同时给属性onconnection赋值,最后侦听端口,设定backlog。 那么,socket处理请求过程“socket(),bind()”步骤就是在createServerHandle完成。

function createServerHandle(address, port, addressType, fd) { var handle; // 针对网络连接,绑定地址 if (address || port || isTCP) { if (!address) { err = handle.bind6('::', port); if (err) { handle.close(); return createServerHandle('0.0.0.0', port); } } else if (addressType === 6) { err = handle.bind6(address, port); } else { err = handle.bind(address, port); } } return handle; }

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
function createServerHandle(address, port, addressType, fd) {
  var handle;
 
  // 针对网络连接,绑定地址
  if (address || port || isTCP) {
    if (!address) {
      err = handle.bind6('::', port);
      if (err) {
        handle.close();
        return createServerHandle('0.0.0.0', port);
      }
    } else if (addressType === 6) {
      err = handle.bind6(address, port);
    } else {
      err = handle.bind(address, port);
    }
  }
 
  return handle;
}

在createServerHandle中,我们看到了如何创建socket(createServerHandle在底层利用node自己封装的类库创建TCP handle),也看到了bind绑定ip和地址,那么node的net模块如何接收客户端请求呢? 必须深入c++模块才能了解node是如何实现在c++层面调用js层设置的onconnection回调属性,v8引擎提供了c++和js层的类型转换和接口透出,在c++的tcp_wrap中:

void TCPWrap::Listen(const FunctionCallbackInfo& args) { TCPWrap* wrap; ASSIGN_OR_RETURN_UNWRAP(&wrap, args.Holder(), args.GetReturnValue().Set(UV_EBADF)); int backloxxg = args[0]->Int32Value(); int err = uv_listen(reinterpret_cast(&wrap->handle), backlog, OnConnection); args.GetReturnValue().Set(err); }

1
2
3
4
5
6
7
8
9
10
11
void TCPWrap::Listen(const FunctionCallbackInfo& args) {
  TCPWrap* wrap;
  ASSIGN_OR_RETURN_UNWRAP(&wrap,
                          args.Holder(),
                          args.GetReturnValue().Set(UV_EBADF));
  int backloxxg = args[0]->Int32Value();
  int err = uv_listen(reinterpret_cast(&wrap->handle),
                      backlog,
                      OnConnection);
  args.GetReturnValue().Set(err);
}

我们关注uvlisten函数,它是libuv封装后的函数,传入了*handle*,backlog和OnConnection回调函数,其中handle_为node调用libuv接口创建的socket封装,OnConnection函数为socket接收客户端连接时执行的操作。我们可能会猜测在js层设置的onconnction函数最终会在OnConnection中调用,于是进一步深入探查node的connection_wrap c++模块:

template void ConnectionWrap::OnConnection(uv_stream_9159.com,t* handle, int status) { if (status == 0) { if (uv_accept(handle, client_handle)) return; // Successful accept. Call the onconnection callback in JavaScript land. argv[1] = client_obj; } wrap_data->MakeCallback(env->onconnection_string(), arraysize(argv), argv); }

1
2
3
4
5
6
7
8
9
10
11
12
13
template
void ConnectionWrap::OnConnection(uv_stream_t* handle,
                                                    int status) {
 
  if (status == 0) {
    if (uv_accept(handle, client_handle))
      return;
 
    // Successful accept. Call the onconnection callback in JavaScript land.
    argv[1] = client_obj;
  }
  wrap_data->MakeCallback(env->onconnection_string(), arraysize(argv), argv);
}

过滤掉多余信息便于分析。当新的客户端连接到来时,libuv调用OnConnection,在该函数内执行uv_accept接收连接,最后将js层的回调函数onconnection[通过env->onconnection_string()获取js的回调]和接收到的客户端socket封装传入MakeCallback中。其中,argv数组的第一项为错误信息,第二项为已连接的clientSocket封装,最后在MakeCallback中执行js层的onconnection函数,该函数的参数正是argv数组传入的数据,“错误代码和clientSocket封装”。 js层的onconnection回调

function onconnection(err, clientHandle) { var handle = this; if (err) { self.emit('error', errnoException(err, 'accept')); return; } var socket = new Socket({ handle: clientHandle, allowHalfOpen: self.allowHalfOpen, pauseOnCreate: self.pauseOnConnect }); socket.readable = socket.writable = true; self.emit('connection', socket); }

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
function onconnection(err, clientHandle) {
  var handle = this;
 
  if (err) {
    self.emit('error', errnoException(err, 'accept'));
    return;
  }
 
  var socket = new Socket({
    handle: clientHandle,
    allowHalfOpen: self.allowHalfOpen,
    pauseOnCreate: self.pauseOnConnect
  });
  socket.readable = socket.writable = true;
 
  self.emit('connection', socket);
}

这样,node在C++层调用js层的onconnection函数,构建node层的socket对象,并触发connection事件,完成底层socket与node net模块的连接与请求打通。 至此,我们打通了socket连接建立过程与net模块(js层)的流程的交互,这种封装让开发者在不需要查阅底层接口和数据结构的情况下,仅使用node提供的http模块就可以快速开发一个应用服务器,将目光聚集在业务逻辑中。 > backlog是已连接但未进行accept处理的socket队列大小。在linux 2.2以前,backlog大小包括了半连接状态和全连接状态两种队列大小。linux 2.2以后,分离为两个backlog来分别限制半连接SYN_RCVD状态的未完成连接队列大小跟全连接ESTABLISHED状态的已完成连接队列大小。这里的半连接状态,即在三次握手中,服务端接收到客户端SYN报文后并发送SYN+ACK报文后的状态,此时服务端等待客户端的ACK,全连接状态即服务端和客户端完成三次握手后的状态。backlog并非越大越好,当等待accept队列过长,服务端无法及时处理排队的socket,会造成客户端或者前端服务器如nignx的连接超时错误,出现“error: Broken Pipe”**。因此,node默认在socket层设置backlog默认值为511,这是因为nginx和redis默认设置的backlog值也为此,尽量避免上述错误。 ###

打赏支持我写出更多好文章,谢谢!

打赏作者

看了cluster不明白他是怎么搞得。为什么master进程没有监听端口号,就能实现集群。看了下资料和源码,这里做一下简单的总结。。

文:正龙(沪江网校Web前端工程师)

本文原创,转载请注明作者及出处

打赏支持我写出更多好文章,谢谢!

9159.com 1

1 赞 收藏 2 评论

由表及里

HTTP服务器用于响应来自客户端的请求当客户端请求数逐渐增大时服务端的处理机制有多种如tomcat的多线程、nginx的事件循环等。而对于node而言由于其也采用事件循环和异步I/O机制因此在高I/O并发的场景下性能非常好但是由于单个node程序仅仅利用单核cpu因此为了更好利用系统资源就需要fork多个node进程执行HTTP服务器逻辑所以node内建模块提供了child_process和cluster模块。利用child_process模块我们可以执行shell命令可以fork子进程执行代码也可以直接执行二进制文件利用cluster模块使用node封装好的API、IPC通道和调度机可以非常简单的创建包括一个master进程下HTTP代理服务器 + 多个worker进程多个HTTP应用服务器的架构并提供两种调度子进程算法。本文主要针对cluster模块讲述node是如何实现简介高效的服务集群创建和调度的。那么就从代码进入本文的主题

code1

const cluster = require('cluster');const http = require('http');if (cluster.isMaster) {  let numReqs = 0;
  setInterval(() => {    console.log(`numReqs = ${numReqs}`);
  }, 1000);  function messageHandler(msg) {    if (msg.cmd && msg.cmd === 'notifyRequest') {
      numReqs += 1;
    }
  }  const numCPUs = require('os').cpus().length;  for (let i = 0; i < numCPUs; i++) {
    cluster.fork();
  }  for (const id in cluster.workers) {
    cluster.workers[id].on('message', messageHandler);
  }

} else {  // Worker processes have a http server.
  http.Server((req, res) => {
    res.writeHead(200);
    res.end('hello worldn');

    process.send({ cmd: 'notifyRequest' });
  }).listen(8000);
}

主进程创建多个子进程同时接受子进程传来的消息循环输出处理请求的数量

子进程创建http服务器侦听8000端口并返回响应。

泛泛的大道理谁都了解可是这套代码如何运行在主进程和子进程中呢父进程如何向子进程传递客户端的请求多个子进程共同侦听8000端口会不会造成端口reuse error每个服务器进程最大可有效支持多少并发量主进程下的代理服务器如何调度请求 这些问题如果不深入进去便永远只停留在写应用代码的层面而且不了解cluster集群创建的多进程与使用child_process创建的进程集群的区别也写不出符合业务的最优代码因此深入cluster还是有必要的。

1.cluster.isMaster怎么识别的?主进程fork的时候给到子进程一个NODE_UNIQUE_ID。所以只要环境变量有这个参数就是子进程。

之前的文章“走进Node.js之HTTP实现分析”中,大家已经了解 Node.js 是如何处理 HTTP 请求的,在整个处理过程,它仅仅用到单进程模型。那么如何让 Web 应用扩展到多进程模型,以便充分利用CPU资源呢?答案就是 Cluster。本篇文章将带着大家一起分析Node.js的多进程模型。

关于作者:欲休

9159.com 2

前端自由人 个人主页 · 我的文章 · 1 ·  

9159.com 3

cluster与net

cluster模块与net模块息息相关而net模块又和底层socket有联系至于socket则涉及到了系统内核这样便由表及里的了解了node对底层的一些优化配置这是我们的思路。介绍前笔者仔细研读了node的js层模块实现在基于自身理解的基础上诠释上节代码的实现流程力图做到清晰、易懂如果有某些纰漏也欢迎读者指出只有在互相交流中才能收获更多。

2.主进程没有创建服务器的语句,到底有没有创建?都知道http基于tcp传输层的,既然主进程没有创建服务器的语句,是否是通过子进程的相关操作实现的。这里翻开nodejs源码对于listen的实现:

首先,来一段经典的 Node.js 主从服务模型代码:

一套代码多次执行

很多人对code1代码如何在主进程和子进程执行感到疑惑怎样通过cluster.isMaster判断语句内的代码是在主进程执行而其他代码在子进程执行呢

其实只要你深入到了node源码层面这个问题很容易作答。cluster模块的代码只有一句

module.exports = ('NODE_UNIQUE_ID' in process.env) ?                  require('internal/cluster/child') :                  require('internal/cluster/master');

只需要判断当前进程有没有环境变量“NODE_UNIQUE_ID”就可知道当前进程是否是主进程而变量“NODE_UNIQUE_ID”则是在主进程fork子进程时传递进去的参数因此采用cluster.fork创建的子进程是一定包含“NODE_UNIQUE_ID”的。

这里需要指出的是必须通过cluster.fork创建的子进程才有NODE_UNIQUE_ID变量如果通过child_process.fork的子进程在不传递环境变量的情况下是没有NODE_UNIQUE_ID的。因此当你在child_process.fork的子进程中执行cluster.isMaster判断时返回 true。

Server.prototype.listen=function(...args) {

varnormalized=normalizeArgs(args);

varoptions=normalized[0];

varcb=normalized[1];

if(this._handle) {

thrownewerrors.Error('ERR_SERVER_ALREADY_LISTEN');

}

varhasCallback=(cb!==null);

if(hasCallback) {

this.once('listening', cb);

}

varbacklogFromArgs=

// (handle, backlog) or (path, backlog) or (port, backlog)

toNumber(args.length>1&&args[1])||

toNumber(args.length>2&&args[2]);// (port, host, backlog)

options=options._handle||options.handle||options;

// (handle[, backlog][, cb]) where handle is an object with a handle

if(optionsinstanceofTCP) {

this._handle=options;

this[async_id_symbol]=this._handle.getAsyncId();

listenInCluster(this,null,-1,-1, backlogFromArgs);

return this;

}

// (handle[, backlog][, cb]) where handle is an object with a fd

if(typeofoptions.fd==='number'&&options.fd>=0) {

listenInCluster(this,null,null,null, backlogFromArgs, options.fd);

return this;

}

// ([port][, host][, backlog][, cb]) where port is omitted,

// that is, listen(), listen(null), listen(cb), or listen(null, cb)

// or (options[, cb]) where options.port is explicitly set as undefined or

// null, bind to an arbitrary unused port

if(args.length===0|| typeofargs[0]==='function'||

(typeofoptions.port==='undefined'&&'port'inoptions)||

options.port===null) {

options.port=0;

}

// ([port][, host][, backlog][, cb]) where port is specified

// or (options[, cb]) where options.port is specified

// or if options.port is normalized as 0 before

varbacklog;

if(typeofoptions.port==='number'|| typeofoptions.port==='string') {

if(!isLegalPort(options.port)) {

thrownewRangeError('"port" argument must be >= 0 and < 65536');

}

backlog=options.backlog||backlogFromArgs;

// start TCP server listening on host:port

if(options.host) {

lookupAndListen(this, options.port|0, options.host, backlog,

options.exclusive);

}else{// Undefined host, listens on unspecified address

// Default addressType 4 will be used to search for master server

listenInCluster(this,null, options.port|0,4,

backlog,undefined, options.exclusive);

}

return this;

}

// (path[, backlog][, cb]) or (options[, cb])

// where path or options.path is a UNIX domain socket or Windows pipe

if(options.path&&isPipeName(options.path)) {

varpipeName=this._pipeName=options.path;

backlog=options.backlog||backlogFromArgs;

listenInCluster(this, pipeName,-1,-1,

backlog,undefined, options.exclusive);

return this;

}

thrownewError('Invalid listen argument: '+util.inspect(options));

};
const cluster = require('cluster');
const numCPUs = require('os').cpus().length;

if (cluster.isMaster) {
  for (let i = 0; i < numCPUs; i++) {
    cluster.fork();
  }
} else {
  require('http').createServer((req, res) => {
    res.end('hello world');
  }).listen(3333);
}

主进程与服务器

code1中并没有在cluster.isMaster的条件语句中创建服务器也没有提供服务器相关的路径、端口和fd那么主进程中是否存在TCP服务器有的话到底是什么时候怎么创建的

相信大家在学习nodejs时阅读的各种书籍都介绍过在集群模式下主进程的服务器会接受到请求然后发送给子进程那么问题就来到主进程的服务器到底是如何创建呢主进程服务器的创建离不开与子进程的交互毕竟与创建服务器相关的信息全在子进程的代码中。

当子进程执行

http.Server((req, res) => {
    res.writeHead(200);
    res.end('hello worldn');

    process.send({ cmd: 'notifyRequest' });
  }).listen(8000);

时http模块会调用net模块(确切的说http.Server继承net.Server)创建net.Server对象同时侦听端口。创建net.Server实例调用构造函数返回。创建的net.Server实例调用listen(8000)等待accpet连接。那么子进程如何传递服务器相关信息给主进程呢答案就在listen函数中。我保证net.Server.prototype.listen函数绝没有表面上看起来的那么简单它涉及到了许多IPC通信和兼容性处理可以说HTTP服务器创建的所有逻辑都在listen函数中。

延伸下在学习linux下的socket编程时服务端的逻辑依次是执行socket(),bind(),listen()和accept()在接收到客户端连接时执行read(),write()调用完成TCP层的通信。那么对应到node的net模块好像只有listen()阶段这是不是很难对应socket的四个阶段呢其实不然node的net模块把“bindlisten”操作全部写入了net.Server.prototype.listen中清晰的对应底层socket和TCP三次握手而向上层使用者只暴露简单的listen接口。

code2

Server.prototype.listen = function() {

  ...  // 根据参数创建 handle句柄
  options = options._handle || options.handle || options;  // (handle[, backlog][, cb]) where handle is an object with a handle
  if (options instanceof TCP) {    this._handle = options;    this[async_id_symbol] = this._handle.getAsyncId();
    listenInCluster(this, null, -1, -1, backlogFromArgs);    return this;
  }

  ...  var backlog;  if (typeof options.port === 'number' || typeof options.port === 'string') {    if (!isLegalPort(options.port)) {      throw new RangeError('"port" argument must be >= 0 and < 65536');
    }
    backlog = options.backlog || backlogFromArgs;    // start TCP server listening on host:port
    if (options.host) {
      lookupAndListen(this, options.port | 0, options.host, backlog,
                      options.exclusive);
    } else { // Undefined host, listens on unspecified address
      // Default addressType 4 will be used to search for master server
      listenInCluster(this, null, options.port | 0, 4,
                      backlog, undefined, options.exclusive);
    }    return this;
  }

  ...  throw new Error('Invalid listen argument: ' + util.inspect(options));
};

由于本文只探究cluster模式下HTTP服务器的相关内容因此我们只关注有关TCP服务器部分其他的Pipedomain socket服务不考虑。

listen函数可以侦听端口、路径和指定的fd因此在listen函数的实现中判断各种参数的情况我们最为关心的就是侦听端口的情况在成功进入条件语句后发现所有的情况最后都执行了listenInCluster函数而返回因此有必要继续探究。

code3

function listenInCluster(server, address, port, addressType,
                         backlog, fd, exclusive) {

  ...  if (cluster.isMaster || exclusive) {
    server._listen2(address, port, addressType, backlog, fd);    return;
  }  // 后续代码为worker执行逻辑
  const serverQuery = {
    address: address,
    port: port,
    addressType: addressType,
    fd: fd,
    flags: 0
  };

  ... 

  cluster._getServer(server, serverQuery, listenOnMasterHandle);
}

listenInCluster函数传入了各种参数如server实例、ip、port、ip类型IPv6和IPv4、backlog底层服务端socket处理请求的最大队列、fd等它们不是必须传入比如创建一个TCP服务器就仅仅需要一个port即可。

简化后的listenInCluster函数很简单cluster模块判断当前进程为主进程时执行_listen2函数否则在子进程中执行cluster._getServer函数同时像函数传递serverQuery对象即创建服务器需要的相关信息。

因此我们可以大胆假设子进程在cluster._getServer函数中向主进程发送了创建服务器所需要的数据即serverQuery。实际上也确实如此

code4

cluster._getServer = function(obj, options, cb) {  const message = util._extend({
    act: 'queryServer',
    index: indexes[indexesKey],
    data: null
  }, options);

  send(message, function modifyHandle(reply, handle) => {    if (typeof obj._setServerData === 'function')
      obj._setServerData(reply.data);    if (handle)
      shared(reply, handle, indexesKey, cb);  // Shared listen socket.
    else
      rr(reply, indexesKey, cb);              // Round-robin.
  });

};

子进程在该函数中向已建立的IPC通道发送内部消息message该消息包含之前提到的serverQuery信息同时包含act: 'queryServer'字段等待服务端响应后继续执行回调函数modifyHandle。

主进程接收到子进程发送的内部消息会根据act: 'queryServer'执行对应queryServer方法完成服务器的创建同时发送回复消息给子进程子进程执行回调函数modifyHandle继续接下来的操作。

至此针对主进程在cluster模式下如何创建服务器的流程已完全走通主要的逻辑是在子进程服务器的listen过程中实现。

可以看出参数可以是很多类型,这里针对端口进行分析,发现参数是端口时,执行了listenInCluster()函数然,翻开这个listenInCluster函数,发现代码是:

通常,主从模型包含一个主进程(master)和多个从进程(worker),主进程负责接收连接请求,以及把单个的请求任务分发给从进程处理;从进程的职责就是不断响应客户端请求,直至进入等待状态。如图 3-1 所示:

net模块与socket

上节提到了node中创建服务器无法与socket创建对应的问题本节就该问题做进一步解释。在net.Server.prototype.listen函数中调用了listenInCluster函数listenInCluster会在主进程或者子进程的回调函数中调用_listen2函数对应底层服务端socket建立阶段的正是在这里。

function setupListenHandle(address, port, addressType, backlog, fd) {  // worker进程中_handle为fake对象无需创建
  if (this._handle) {
    debug('setupListenHandle: have a handle already');
  } else {
    debug('setupListenHandle: create a handle');    if (rval === null)
      rval = createServerHandle(address, port, addressType, fd);    this._handle = rval;
  }  this[async_id_symbol] = getNewAsyncId(this._handle);  this._handle.onconnection = onconnection;  var err = this._handle.listen(backlog || 511);

}

通过createServerHandle函数创建句柄句柄可理解为用户空间的socket同时给属性onconnection赋值最后侦听端口设定backlog。

那么socket处理请求过程“socket(),bind()”步骤就是在createServerHandle完成。

function createServerHandle(address, port, addressType, fd) {  var handle;  // 针对网络连接绑定地址
  if (address || port || isTCP) {    if (!address) {
      err = handle.bind6('::', port);      if (err) {
        handle.close();        return createServerHandle('0.0.0.0', port);
      }
    } else if (addressType === 6) {
      err = handle.bind6(address, port);
    } else {
      err = handle.bind(address, port);
    }
  }  return handle;
}

在createServerHandle中我们看到了如何创建socketcreateServerHandle在底层利用node自己封装的类库创建TCP handle也看到了bind绑定ip和地址那么node的net模块如何接收客户端请求呢

必须深入c++模块才能了解node是如何实现在c++层面调用js层设置的onconnection回调属性v8引擎提供了c++和js层的类型转换和接口透出在c++的tcp_wrap中

void TCPWrap::Listen(const FunctionCallbackInfo<Value>& args) {
  TCPWrap* wrap;
  ASSIGN_OR_RETURN_UNWRAP(&wrap,
                          args.Holder(),
                          args.GetReturnValue().Set(UV_EBADF));  int backloxxg = args[0]->Int32Value();  int err = uv_listen(reinterpret_cast<uv_stream_t*>(&wrap->handle_),
                      backlog,
                      OnConnection);
  args.GetReturnValue().Set(err);
}

我们关注uv_listen函数它是libuv封装后的函数传入了handle_,backlog和OnConnection回调函数其中handle_为node调用libuv接口创建的socket封装OnConnection函数为socket接收客户端连接时执行的操作。我们可能会猜测在js层设置的onconnction函数最终会在OnConnection中调用于是进一步深入探查node的connection_wrap c++模块

template <typename WrapType, typename UVType>void ConnectionWrap<WrapType, UVType>::OnConnection(uv_stream_t* handle,                                                    int status) {  if (status == 0) {    if (uv_accept(handle, client_handle))      return;    // Successful accept. Call the onconnection callback in JavaScript land.
    argv[1] = client_obj;
  }
  wrap_data->MakeCallback(env->onconnection_string(), arraysize(argv), argv);
}

过滤掉多余信息便于分析。当新的客户端连接到来时libuv调用OnConnection在该函数内执行uv_accept接收连接最后将js层的回调函数onconnection[通过env->onconnection_string()获取js的回调]和接收到的客户端socket封装传入MakeCallback中。其中argv数组的第一项为错误信息第二项为已连接的clientSocket封装最后在MakeCallback中执行js层的onconnection函数该函数的参数正是argv数组传入的数据“错误代码和clientSocket封装”。

js层的onconnection回调

function onconnection(err, clientHandle) {  var handle = this;  if (err) {    self.emit('error', errnoException(err, 'accept'));    return;
  }  var socket = new Socket({
    handle: clientHandle,
    allowHalfOpen: self.allowHalfOpen,
    pauseOnCreate: self.pauseOnConnect
  });
  socket.readable = socket.writable = true;  self.emit('connection', socket);
}

这样node在C++层调用js层的onconnection函数构建node层的socket对象并触发connection事件完成底层socket与node net模块的连接与请求打通。

至此我们打通了socket连接建立过程与net模块js层的流程的交互这种封装让开发者在不需要查阅底层接口和数据结构的情况下仅使用node提供的http模块就可以快速开发一个应用服务器将目光聚集在业务逻辑中。

backlog是已连接但未进行accept处理的socket队列大小。在linux 2.2以前backlog大小包括了半连接状态和全连接状态两种队列大小。linux 2.2以后分离为两个backlog来分别限制半连接SYN_RCVD状态的未完成连接队列大小跟全连接ESTABLISHED状态的已完成连接队列大小。这里的半连接状态即在三次握手中服务端接收到客户端SYN报文后并发送SYN+ACK报文后的状态此时服务端等待客户端的ACK全连接状态即服务端和客户端完成三次握手后的状态。backlog并非越大越好当等待accept队列过长服务端无法及时处理排队的socket会造成客户端或者前端服务器如nignx的连接超时错误出现“error: Broken Pipe”。因此node默认在socket层设置backlog默认值为511这是因为nginx和redis默认设置的backlog值也为此尽量避免上述错误。

function listenInCluster(server, address, port, addressType,

backlog, fd, exclusive) {

exclusive= !!exclusive;

if(cluster===null) cluster=require('cluster');

if(cluster.isMaster||exclusive) {

// Will create a new handle

// _listen2 sets up the listened handle, it is still named like this

// to avoid breaking code that wraps this method

server._listen2(address, port, addressType, backlog, fd);

return;

}

constserverQuery={

address:address,

port:port,

addressType:addressType,

fd:fd,

flags:0

};

// Get the master's server handle, and listen on it

cluster._getServer(server, serverQuery, listenOnMasterHandle);

function listenOnMasterHandle(err, handle) {

err=checkBindError(err, port, handle);

if(err) {

varex=exceptionWithHostPort(err,'bind', address, port);

returnserver.emit('error', ex);

}

// Reuse master's server handle

server._handle=handle;

// _listen2 sets up the listened handle, it is still named like this

// to avoid breaking code that wraps this method

server._listen2(address, port, addressType, backlog, fd);

}

}

9159.com 4

多个子进程与端口复用

再回到关于cluster模块的主线中来。code1中主进程与所有子进程通过消息构建出侦听8000端口的TCP服务器那么子进程中有没有也创建一个服务器同时侦听8000端口呢其实在子进程中压根就没有这回事如何理解呢子进程中确实创建了net.Server对象可是它没有像主进程那样在libuv层构建socket句柄子进程的net.Server对象使用的是一个人为fake出的一个假句柄来“欺骗”使用者端口已侦听这样做的目的是为了集群的负载均衡这又涉及到了cluster模块的均衡策略的话题上。

在本节有关cluster集群端口侦听以及请求处理的描述都是基于cluster模式的默认策略RoundRobin之上讨论的关于调度策略的讨论我们放在下节进行。

主进程与服务器这一章节最后我们只了解到主进程是如何创建侦听给定端口的TCP服务器的此时子进程还在等待主进程创建后发送的消息。当主进程发送创建服务器成功的消息后子进程会执行modifyHandle回调函数。还记得这个函数吗主进程与服务器这一章节最后已经贴出来它的源码

function modifyHandle(reply, handle) => {    if (typeof obj._setServerData === 'function')
      obj._setServerData(reply.data);    if (handle)
      shared(reply, handle, indexesKey, cb);  // Shared listen socket.
    else
      rr(reply, indexesKey, cb);              // Round-robin.
  }

它会根据主进程是否返回handle句柄即libuv对socket的封装来选择执行函数。由于cluter默认采用RoundRobin调度策略因此主进程返回的handle为null执行函数rr。在该函数中做了上文提到的hack操作作者fake了一个假的handle对象“欺骗”上层调用者

function listen(backlog) {    return 0;
  }  const handle = { close, listen, ref: noop, unref: noop };

  handles[key] = handle;
  cb(0, handle);

看到了吗fake出的handle.listen并没有调用libuv层的Listen方法它直接返回了。这意味着什么子进程压根没有创建底层的服务端socket做侦听所以在子进程创建的HTTP服务器侦听的端口根本不会出现端口复用的情况。 最后调用cb函数将fake后的handle传递给上层net.Server设置net.Server对底层的socket的引用。此后子进程利用fake后的handle做端口侦听其实压根啥都没有做执行成功后返回。

那么子进程TCP服务器没有创建底层socket如何接受请求和发送响应呢这就要依赖IPC通道了。既然主进程负责接受客户端请求那么理所应当由主进程分发客户端请求给某个子进程由子进程处理请求。实际上也确实是这样做的主进程的服务器中会创建RoundRobinHandle决定分发请求给哪一个子进程筛选出子进程后发送newconn消息给对应子进程

  const message = { act: 'newconn', key: this.key };

  sendHelper(worker.process, message, handle, (reply) => {    if (reply.accepted)
      handle.close();    else
      this.distribute(0, handle);  // Worker is shutting down. Send to another.    this.handoff(worker);
  });

子进程接收到newconn消息后会调用内部的onconnection函数先向主进程发送开始处理请求的消息然后执行业务处理函数handle.onconnection。还记得这个handle.onconnection吗它正是上节提到的node在c++层执行的js层回调函数在handle.onconnection中构造了net.Socket对象标识已连接的socket最后触发connection事件调用开发者的业务处理函数此时的数据处理对应在网络模型的第四层传输层中node的http模块会从socket中获取数据做应用层的封装解析出请求头、请求体并构造响应体这样便从内核socket->libuv->js依次执行到开发者的业务逻辑中。

到此为止相信读者已经明白node是如何处理客户端的请求了那么下一步继续探究node是如何分发客户端的请求给子进程的。

这个代码很有意思,如果是主进程执行server._listen2(address, port, addressType, backlog, fd);然后return

1.PNG

请求分发策略

上节提到cluster模块默认采用RoundRobin调度策略那么还有其他策略可以选择吗答案是肯定的在windows机器中cluster模块采用的是共享服务端socket方式通俗点说就是由操作系统进行调度客户端的请求而不是由node程序调度。其实在node v0.8以前默认的集群模式就是采用操作系统调度方式进行直到cluster模块的加入才有了改变。

那么RoundRobin调度策略到底是怎样的呢

RoundRobinHandle.prototype.distribute = function(err, handle) {  this.handles.push(handle);  const worker = this.free.shift();  if (worker)    this.handoff(worker);
};// 发送消息和handle给对应worker进程处理业务逻辑RoundRobinHandle.prototype.handoff = function(worker) {  if (worker.id in this.all === false) {    return;  // Worker is closing (or has closed) the server.
  }  const handle = this.handles.shift();  if (handle === undefined) {    this.free.push(worker);  // Add to ready queue again.
    return;
  }  const message = { act: 'newconn', key: this.key };

  sendHelper(worker.process, message, handle, (reply) => {    if (reply.accepted)
      handle.close();    else
      this.distribute(0, handle);  // Worker is shutting down. Send to another.

    this.handoff(worker);
  });
};

核心代码就是这两个函数浓缩的是精华。distribute函数负责筛选出处理请求的子进程this.free数组存储空闲的子进程this.handles数组存放待处理的用户请求。handoff函数获取排队中的客户端请求并通过IPC发送句柄handle和newconn消息等待子进程返回。当子进程返回正在处理请求消息时在此执行handoff函数继续分配请求给该子进程不管该子进程上次请求是否处理完成node的异步特性和事件循环可以让单进程处理多请求。按照这样的策略主进程每fork一个子进程都会调用handoff函数进入该子进程的处理循环中。一旦主进程没有缓存的客户端请求时this.handles为空便会将当前子进程加入free空闲队列等待主进程的下一步调度。这就是cluster模式的RoundRobin调度策略每个子进程的处理逻辑都是一个闭环直到主进程缓存的客户端请求处理完毕时该子进程的处理闭环才被打开。

这么简单的实现带来的效果却是不小经过全世界这么多使用者的尝试主进程分发请求还是很平均的如果RoundRobin的调度需求不满足你业务中的要求你可以尝试仿照RoundRobin模块写一个另类的调度算法。

那么cluster模块在windows系统中采用的shared socket策略后文简称SS策略是什么呢采用SS策略调度算法子进程的服务器工作逻辑完全不同于上文中所讲的那样子进程创建的TCP服务器会在底层侦听端口并处理响应这是如何实现的呢SS策略的核心在于IPC传输句柄的文件描述符并且在C++层设置端口的SO_REUSEADDR选项最后根据传输的文件描述符还原出handle(net.TCP)处理请求。这正是shared socket名称由来共享文件描述符。

子进程继承父进程fd处理请求

import socketimport osdef main():
    serversocket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    serversocket.bind(("127.0.0.1", 8888))
    serversocket.listen(0)    # Child Process
    if os.fork() == 0:
        accept_conn("child", serversocket)

    accept_conn("parent", serversocket)def accept_conn(message, s):
    while True:
        c, addr = s.accept()        print 'Got connection from in %s' % message
        c.send('Thank you for your connecting to %sn' % message)
        c.close()if __name__ == "__main__":
    main()

需要指出的是在子进程中根据文件描述符还原出的handle不能再进行bind(ip,port)和listen(backlog)操作只有主进程创建的handle可以调用这些函数。子进程中只能选择accept、read和write操作。

既然SS策略传递的是master进程的服务端socket的文件描述符子进程侦听该描述符那么由谁来调度哪个子进程处理请求呢这就是由操作系统内核来进行调度。可是内核调度往往出现意想不到的效果在linux下导致请求往往集中在某几个子进程中处理。这从内核的调度策略也可以推算一二内核的进程调度离不开上下文切换上下文切换的代价很高不仅需要保存当前进程的代码、数据和堆栈等用户空间数据还需要保存各种寄存器如PCESP最后还需要恢复被调度进程的上下文状态仍然包括代码、数据和各种寄存器因此代价非常大。而linux内核在调度这些子进程时往往倾向于唤醒最近被阻塞的子进程上下文切换的代价相对较小。而且内核的调度策略往往受到当前系统的运行任务数量和资源使用情况对专注于业务开发的http服务器影响较大因此会造成某些子进程的负载严重不均衡的状况。那么为什么cluster模块默认会在windows机器中采用SS策略调度子进程呢原因是node在windows平台采用的IOCP来最大化性能它使得传递连接的句柄到其他进程的成本很高因此采用默认的依靠操作系统调度的SS策略。

SS调度策略非常简单主进程直接通过IPC通道发送handle给子进程即可此处就不针对代码进行分析了。此处笔者利用node的child_process模块实现了一个简易的SS调度策略的服务集群读者可以更好的理解

master代码

var net = require('net');var cp = require('child_process');var w1 = cp.fork('./singletest/worker.js');var w2 = cp.fork('./singletest/worker.js');var w3 = cp.fork('./singletest/worker.js');var w4 = cp.fork('./singletest/worker.js');var server = net.createServer();

server.listen(8000,function(){  // 传递句柄
  w1.send({type: 'handle'},server);
  w2.send({type: 'handle'},server);
  w3.send({type: 'handle'},server);
  w4.send({type: 'handle'},server);
  server.close();
});

child代码

var server = require('http').createServer(function(req,res){
  res.write(cluster.isMaster + '');
  res.end(process.pid+'')
})var cluster = require('cluster');
process.on('message',(data,handle)=>{  if(data.type !== 'handle')    return;

  handle.on('connection',function(socket){
    server.emit('connection',socket)
  });
});

这种方式便是SS策略的典型实现不推荐使用者尝试。

如果手机子进程发送serverQuery然后执行回调listenOnMasterHandle,这个回调里也是server._listen2(address, port, addressType, backlog, fd);
cluster_getServer的源码是:

围绕这段代码,本文希望讲述清楚几个关键问题:

结尾

开篇提到的一些问题至此都已经解答完毕关于cluster模块的一些具体实现本文不做详细描述有兴趣感受node源码的同学可以在阅读本文的基础上再翻阅这样事半功倍。本文是在node源码和笔者的计算机网络基础之上混合后的产物起因于笔者研究PM2的cluster模式下God进程的具体实现。在尝试几天仔细研读node cluster相关模块后有感于其良好的封装性故产生将其内部实现原理和技巧向日常开发者所展示的想法最后有了这篇文章。

那么阅读了这篇文章熟悉了cluster模式的具体实现原理对于日常开发者有什么促进作用呢首先能不停留在使用层面深入到具体实现原理中去这便是比大多数人强了在理解实现机制的阶段下如果能反哺业务开发就更有意义了。比如根据业务设计出更匹配的负载均衡逻辑根据服务的日常QPS设置合理的backlog值等最后在探究实现的过程中我们又回顾了许多离应用层开发人员难以接触到的底层网络编程和操作系统知识这同时也是学习深入的过程。

接下来笔者可能会抽时间针对node的其他常用模块做一次细致的解读。其实node较为重要的Stream模块笔者已经分析过了node中的Stream、深入node之Transform经过深入探究之后在日常开发node应用中有着很大的提升作用读者们可以尝试下。既然提到了Stream模块那么结合本文的net模块解析我们就非常容易理解node http模块的实现了因为http模块正是基于net和Stream模块实现的。那么下一篇文章就针对http模块做深入解析吧

cluster._getServer = function(obj, options, cb) {
  const indexesKey = [options.address,
                      options.port,
                      options.addressType,
                      options.fd ].join(':');

  if (indexes[indexesKey] === undefined)
    indexes[indexesKey] = 0;
  else
    indexes[indexesKey]++;

  const message = util._extend({
    act: 'queryServer',
    index: indexes[indexesKey],
    data: null
  }, options);

  // Set custom data on handle (i.e. tls tickets key)
  if (obj._getServerData)
    message.data = obj._getServerData();

  send(message, (reply, handle) => {
    if (typeof obj._setServerData === 'function')
      obj._setServerData(reply.data);

    if (handle)
      shared(reply, handle, indexesKey, cb);  // Shared listen socket.
    else
      rr(reply, indexesKey, cb);              // Round-robin.
  });

  obj.once('listening', () => {
    cluster.worker.state = 'listening';
    const address = obj.address();
    message.act = 'listening';
    message.port = address && address.port || options.port;
    send(message);
  });
};
  1. 从进程的创建过程;

  2. 在使用同一主机地址的前提下,如果指定端口已经被监听,其它进程尝试监听同一端口时本应该会报错(EADDRINUSE,即端口已被占用);那么,Node.js 如何能够在主从进程上对同一端口执行 listen 方法?

大概的意思是将这个worker的信息比如端口什么的发给主进程,按照内容起个服务器,然后就是

进程 fork 是如何完成的?

在 Node.js 中,cluster.fork 与 POSIX 的 fork 略有不同:虽然从进程仍旧是 fork 创建,但是并不会直接使用主进程的进程映像,而是调用系统函数 execvp 让从进程使用新的进程映像。另外,每个从进程对应一个 Worker 对象,它有如下状态:none、online、listening、dead和disconnected。

ChildProcess 对象主要提供进程的创建(spawn)、销毁(kill)以及进程句柄引用计数管理(ref 与 unref)。在对Process对象(process_wrap.cc)进行封装之外,它自身也处理了一些细节问题。例如,在方法 spawn 中,如果需要主从进程之间建立 IPC 管道,则通过环境变量 NODE_CHANNEL_FD 来告知从进程应该绑定的 IPC 相关的文件描述符(fd),这个特殊的环境变量后面会被再次涉及到。

以上提到的三个对象引用关系如下:

9159.com 5

4.png

cluster.fork 的主要执行流程:

  1. 调用 child_process.spawn;

  2. 创建 ChildProcess 对象,并初始化其 _handle 属性为 Process 对象;Process 是 process_wrap.cc 中公布给 JavaScript 的对象,它封装了 libuv 的进程操纵功能。附上 Process 对象的 C++ 定义:

interface Process {
  construtor(const FunctionCallbackInfo<Value>& args);
  void close(const FunctionCallbackInfo<Value>& args);
  void spawn(const FunctionCallbackInfo<Value>& args);
  void kill(const FunctionCallbackInfo<Value>& args);
  void ref(const FunctionCallbackInfo<Value>& args);
  void unref(const FunctionCallbackInfo<Value>& args);
  void hasRef(const FunctionCallbackInfo<Value>& args);
}
  1. 调用 ChildProcess._handle 的方法 spawn,并会最终调用 libuv 库中 uv_spawn。

主进程在执行 cluster.fork 时,会指定两个特殊的环境变量 NODE_CHANNEL_FD 和 NODE_UNIQUE_ID,所以从进程的初始化过程跟一般 Node.js 进程略有不同:

  1. bootstrap_node.js 是运行时包含的 JavaScript 入口文件,其中调用 internalprocess.setupChannel;

  2. 如果环境变量包含 NODE_CHANNEL_FD,则调用 child_process._forkChild,然后移除该值;

  3. 调用 internalchild_process.setupChannel,在子进程的全局 process 对象上监听消息 internalMessage,并且添加方法 send 和 _send。其中 send 只是对 _send 的封装;通常,_send 只是把消息 JSON 序列化之后写入管道,并最终投递到接收端。

  4. 如果环境变量包含 NODE_UNIQUE_ID,则当前进程是 worker 模式,加载 cluster 模块时会执行 workerInit;另外,它也会影响到 net.Server 的 listen 方法,worker 模式下 listen 方法会调用 cluster._getServer,该方法实质上向主进程发起消息 {"act" : "queryServer"},而不是真正监听端口。

  if (handle)
      shared(reply, handle, indexesKey, cb);  // Shared listen socket.
    else
      rr(reply, indexesKey, cb);              // Round-robin.
  });

IPC实现细节

上文提到了 Node.js 主从进程仅仅通过 IPC 维持联络,那这一节就来深入分析下 IPC 的实现细节。首先,让我们看一段示例代码:

1-master.js

const {spawn} = require('child_process');
let child = spawn(process.execPath, [`${__dirname}/1-slave.js`], {
  stdio: [0, 1, 2, 'ipc']
});

child.on('message', function(data) {
  console.log('received in master:');
  console.log(data);
});

child.send({
  msg: 'msg from master'
});

1-slave.js

process.on('message', function(data) {
  console.log('received in slave:');
  console.log(data);
});
process.send({
  'msg': 'message from slave'
});

node 1-master.js

运行结果如下:

9159.com 6

ipc-demo.png

细心的同学可能发现控制台输出并不是连续的,master和slave的日志交错打印,这是由于并行进程执行顺序不可预知造成的。

有句柄的话分享这个shock,没有的话执行rr函数:

socketpair

前文提到从进程实际上通过系统调用 execvp 启动新的 Node.js 实例;也就是说默认情况下,Node.js 主从进程不会共享文件描述符表,那它们到底是如何互发消息的呢?

原来,可以利用 socketpair 创建一对全双工匿名 socket,用于在进程间互发消息;其函数签名如下:

int socketpair(int domain, int type, int protocol, int sv[2]);

通常情况下,我们是无法通过 socket 来传递文件描述符的;当主进程与客户端建立了连接,需要把连接描述符告知从进程处理,怎么办?其实,通过指定 socketpair 的第一个参数为 AF_UNIX,表示创建匿名 UNIX 域套接字(UNIX domain socket),这样就可以使用系统函数 sendmsg 和 recvmsg 来传递/接收文件描述符了。

主进程在调用 cluster.fork 时,相关流程如下:

  1. 创建 Pipe(pipe_wrap.cc)对象,并且指定参数 ipc 为 true;
  2. 调用 uv_spawn,options 参数为 uv_process_options_s 结构体,把 Pipe 对象存储在结构体的属性 stdio 中;
  3. 调用 uv__process_init_stdio,通过 socketpair 创建全双工 socket;
  4. 调用 uv__process_open_stream,设置 Pipe 对象的 iowatcher.fd 值为全双工 socket 之一。

至此,主从进程就可以进行双向通信了。流程图如下:

9159.com 7

5.png

我们再回看一下环境变量 NODE_CHANNEL_FD,令人疑惑的是,它的值始终为3。进程级文件描述符表中,0-2分别是标准输入stdin、标准输出stdout和标准错误输出stderr,那么可用的第一个文件描述符就是3,socketpair 显然会占用从进程的第一个可用文件描述符。这样,当从进程往 fd=3 的流中写入数据时,主进程就可以收到消息;反之,亦类似。

9159.com 8

6.png

从 IPC 读取消息主要是流操作,以后有机会详解,下面列出主要流程:

  1. StreamBase::EditData 回调 onread;

  2. StreamWrap::OnReadImpl 调用 StreamWrap::EditData;

  3. StreamWrap 的构造函数会调用 set_read_cb 设置 OnReadImpl;

  4. StreamWrap::set_read_cb 设置属性 StreamWrap::read_cb_;

  5. StreamWrap::OnRead 中引用属性 read_cb_;

  6. StreamWrap::ReadStart 调用 uv_read_start 时传递 Streamwrap::OnRead 作为第3个参数:

int uv_read_start(uv_stream_t* stream, uv_alloc_cb alloc_cb, uv_read_cb read_cb)

涉及到的类图关系如下:

9159.com 9

3.PNG

function rr(message, indexesKey, cb) {
  if (message.errno)
    return cb(message.errno, null);

  var key = message.key;

  function listen(backlog) {
    // TODO(bnoordhuis) Send a message to the master that tells it to
    // update the backlog size. The actual backlog should probably be
    // the largest requested size by any worker.
    return 0;
  }

  function close() {
    // lib/net.js treats server._handle.close() as effectively synchronous.
    // That means there is a time window between the call to close() and
    // the ack by the master process in which we can still receive handles.
    // onconnection() below handles that by sending those handles back to
    // the master.
    if (key === undefined)
      return;

    send({ act: 'close', key });
    delete handles[key];
    delete indexes[indexesKey];
    key = undefined;
  }

  function getsockname(out) {
    if (key)
      util._extend(out, message.sockname);

    return 0;
  }

  // Faux handle. Mimics a TCPWrap with just enough fidelity to get away
  // with it. Fools net.Server into thinking that it's backed by a real
  // handle. Use a noop function for ref() and unref() because the control
  // channel is going to keep the worker alive anyway.
  const handle = { close, listen, ref: noop, unref: noop };

  if (message.sockname) {
    handle.getsockname = getsockname;  // TCP handles only.
  }

  assert(handles[key] === undefined);
  handles[key] = handle;
  cb(0, handle);
}

服务器主从模型

以上大概分析了从进程的创建过程及其特殊性;如果要实现主从服务模型的话,还需要解决一个基本问题:从进程怎么获取到与客户端间的连接描述符?我们打算从 process.send(只有在从进程的全局 process 对象上才有 send 方法,主进程可以通过 worker.process 或 worker 访问该方法)的函数签名着手:

void send(message, sendHandle, callback)

其参数 message 和 callback 含义也许显而易见,分别指待发送的消息对象和操作结束之后的回调函数。那它的第二个参数 sendHandle 用途是什么?

前文提到系统函数 socketpair 可以创建一对双向 socket,能够用来发送 JSON 消息,这一块主要涉及到流操作;另外,当 sendHandle 有值时,它们还可以用于传递文件描述符,其过程要相对复杂一些,但是最终会调用系统函数 sendmsg 以及 recvmsg。

发现这个listen函数 return了并没有操作,将函数给到handles,然后callback出去,由上面的server._handle=handle接收。所以其实工作进程的监听被hack了,并没有操作。。

传递与客户端的连接描述符

在主从服务模型下,主进程负责跟客户端建立连接,然后把连接描述符通过 sendmsg 传递给从进程。我们来看看这一过程:

从进程

  1. 调用 http.Server.listen 方法(继承至 net.Server);

  2. 调用 cluster._getServer,向主进程发起消息:

{
  "cmd": "NODE_HANDLE",
  "msg": {
    "act": "queryServer"
  }
}

主进程

  1. 接收处理这个消息时,会新建一个 RoundRobinHandle 对象,为变量 handle。每个 handle 与一个连接端点对应,并且对应多个从进程实例;同时,它会开启与连接端点相应的 TCP 服务 socket。
class RoundRobinHandle {
  construtor(key, address, port, addressType, fd) {
    // 监听同一端点的从进程集合
    this.all = [];

    // 可用的从进程集合
    this.free = [];

    // 当前等待处理的客户端连接描述符集合
    this.handles = [];

    // 指定端点的TCP服务socket
    this.server = null;
  }
  add(worker, send) {
    // 把从进程实例加入this.all
  }
  remove(worker) {
    // 移除指定从进程
  }
  distribute(err, handle) {
    // 把连接描述符handle存入this.handles,并指派一个可用的从进程实例开始处理连接请求
  }
  handoff(worker) {
    // 从this.handles中取出一个待处理的连接描述符,并向从进程发起消息
    // {
    //  "type": "NODE_HANDLE",
    //  "msg": {
    //    "act": "newconn",
    //  }
    // }
  }
}
  1. 调用 handle.add 方法,把 worker 对象添加到 handle.all 集合中;

  2. 当 handle.server 开始监听客户端请求之后,重置其 onconnection 回调函数为 RoundRobinHandle.distribute,这样的话主进程就不用实际处理客户端连接,只要分发连接给从进程处理即可。它会把连接描述符存入 handle.handles 集合,当有可用 worker 时,则向其发送消息 { "act": "newconn" }。如果被指派的 worker 没有回复确认消息 { "ack": message.seq, accepted: true },则会尝试把该连接分配给其他 worker。

流程图如下:

从进程上调用listen

9159.com 10

7.png

客户端连接处理

9159.com 11

8.png

这里再看下server._listen2,源码中Server.prototype._listen2=setupListenHandle;那么看下setupListenHandle的实现吧:

从进程如何与主进程监听同一端口?

原因主要有两点:

** I. 从进程中 Node.js 运行时的初始化略有不同**

  1. 因为从进程存在环境变量 NODE_UNIQUE_ID,所以在 bootstrap_node.js 中,加载 cluster 模块时执行 workerInit 方法。这个地方与主进程执行的 masterInit 方法不同点在于:其一,从进程上没有 cluster.fork 方法,所以不能在从进程继续创建子孙进程;其二,Worker 对象上的方法 disconnect 和 destroy 实现也有所差异:我们以调用 worker.destroy 为例,在主进程上时,不能直接把从进程杀掉,而是通知从进程退出,然后再把它从集合里删除;当在从进程上时,从进程通知完主进程然后退出就可以了;其三,从进程上 cluster 模块新增了方法 _getServer,用于向主进程发起消息 {"act": "queryServer"},通知主进程创建 RoundRobinHandle 对象,并实际监听指定端口地址;然后自身用一个模拟的 TCP 描述符继续执行;

  2. 调用 cluster._setupWorker 方法,主要是初始化 cluster.worker 属性,并监听消息 internalMessage,处理两种消息类型:newconn 和 disconnect;

  3. 向主进程发起消息 { "act": "online" };

  4. 因为从进程额环境变量中有 NODE_CHANNEL_FD,调用 internalprocess.setupChannel时,会连接到系统函数 socketpair 创建的双向 socket ,并监听 internalMessage ,处理消息类型:NODE_HANDLE_ACK和NODE_HANDLE。

** II. listen 方法在主从进程中执行的代码略有不同。**

在 net.Server(net.js)的方法 listen 中,如果是主进程,则执行标准的端口绑定流程;如果是从进程,则会调用 cluster._getServer,参见上面对该方法的描述。

最后,附上基于libuv实现的一个 C 版 Master-Slave 服务模型,GitHub地址。

启动服务器之后,访问 http://localhost:3333 的运行结果如下:

9159.com 12

9.png

相信通过本篇文章的介绍,大家已经对Node.js的Cluster有了一个全面的了解。下一次作者会跟大家一起深入分析Node.js进程管理在生产环境下的可用性问题,敬请期待。

function setupListenHandle(address, port, addressType, backlog, fd) {

debug('setupListenHandle', address, port, addressType, backlog, fd);

// If there is not yet a handle, we need to create one and bind.

// In the case of a server sent via IPC, we don't need to do this.

if(this._handle) {

debug('setupListenHandle: have a handle already');

}else{

debug('setupListenHandle: create a handle');

varrval=null;

// Try to bind to the unspecified IPv6 address, see if IPv6 is available

if(!address&& typeoffd!=='number') {

rval=createServerHandle('::', port,6, fd);

if(typeofrval==='number') {

rval=null;

address='0.0.0.0';

addressType=4;

}else{

address='::';

addressType=6;

}

}

if(rval===null)

rval=createServerHandle(address, port, addressType, fd);

if(typeofrval==='number') {

varerror=exceptionWithHostPort(rval,'listen', address, port);

process.nextTick(emitErrorNT,this, error);

return;

}

this._handle=rval;

}

this[async_id_symbol]=getNewAsyncId(this._handle);

this._handle.onconnection=onconnection;

this._handle.owner=this;

// Use a backlog of 512 entries. We pass 511 to the listen() call because

// the kernel does: backlogsize = roundup_pow_of_two(backlogsize + 1);

// which will thus give us a backlog of 512 entries.

varerr=this._handle.listen(backlog||511);

if(err) {

varex=exceptionWithHostPort(err,'listen', address, port);

this._handle.close();

this._handle=null;

nextTick(this[async_id_symbol], emitErrorNT,this, ex);

return;

}

// generate connection key, this should be unique to the connection

this._connectionKey=addressType+':'+address+':'+port;

// unref the handle if the server was unref'ed prior to listening

if(this._unref)

this.unref();

nextTick(this[async_id_symbol], emitListeningNT,this);

}

相关文章

系列1|走进Node.js之启动过程剖析

系列2|走进Node.js 之 HTTP实现分析

这里发现代码成功了执行的时createServerHandle函数,听名字是创造socket句柄 ,如果_handle存在就不创建,不存在创建socket,如前面所写子进程已经创建了socket,所以不会再创建socket,所以子进程虽然listen了,但是其实只是表面的而已。具体服务器如何接收客户端请求,涉及到c,不会c,应该是调用一些底层的东西实现的吧。

推荐: 翻译项目Master的自述:

1. 干货|人人都是翻译项目的Master

2. iKcamp出品微信小程序教学共5章16小节汇总(含视频)

3. 开始免费连载啦~每周2更共11堂iKcamp课|基于Koa2搭建Node.js实战项目教学(含视频)| 课程大纲介绍

本文由9159.com发布于前端,转载请注明出处:本篇文章将带着大家一起分析Node.js的多进程模型

关键词: