1.4 集群搭建

本文首先会对rocketmq集群四种部署模式进行介绍，包括：单主模式，多master模式，多master多slave模式异步复制，多master多slave模式同步复制，对比各种模式的优缺点。接着将每一种模式部署成一个集群，因此总共有4个集群，由一个NameServer集群进行管理。最后会介绍常见部署错误问题的解决方案。

1 部署模式介绍

一个完整的RocketMQ集群由NameServer集群，Broker集群，Producer集群，Consumer集群组成。本节主要介绍NameServer集群，Broker集群的搭建。

一个NameServer集群可以管理多个Broker集群，每个Broker集群由多组broker复制组构成，多个broker复制组通过指定相同的集群名称，来构成一个Broker集群。

具体来说，每个broker复制组都满足以下几点：

• 包含一个master节点，零个或者多个slave节点，且这些节点需要指定相同的broker名称；不同的broker复制组的broker名称必须不同。

• master和slave通过brokerId参数进行区分。master的 brokerId参数必须是 0，slave 的 brokerId 必须是大于0的整数，如果有多个slave，这些slave的brokerId需要指定为不同的值。

• master可读可写，slave只可以读，master通过主从复制的方式将数据同步给slave，支持同步复制和异步复制两种复制方式，目前master宕机后，slave不能自动切换为master。

基于Broker复制组的特性，一个Broker集群通常有多种部署方式：

1. 单个 Master 

        集群中只有一个broker复制组，且只包含一个master节点。这种方式部署风险较大，一旦 Broker 重启或者宕机时，会导致整个服务不可用，通常是开发调试时使用，不建议线上环境使用 

2. 多 Master 模式 

        集群中有多个broker复制组，且都只有master节点，没有slave节点。例如 2 个 master 或者 3 个 master节点。

        优点: 配置简单，单个 Master 宕机或重启维护对应用无影响，消息也不会丢(异步刷盘丢失少量消息，同步刷盘一条不丢)。性能最高。 

        缺点: 单台机器宕机期间，这台机器上未被消费的消息在机器恢复之前不可订阅，消息实时性会受到影响。 

3 多 Master 多 Slave 模式，异步复制 

        集群中有多个broker复制组，且每个复制组都有master节点，也有slave节点。例如：每个 master 配置一个 slave。HA 采用异步复制方式，主备有短暂消息延迟，毫秒级。 

        优点: 即使磁盘损坏，消息丢失的非常少，且消息实时性不会受影响，因为 Master 宕机后，消费者仍然可以 从 Slave 消费，此过程对应用透明。不需要人工干预。性能同多 Master 模式几乎一样。 

        缺点:Master 宕机，磁盘损坏情况，会丢失少量消息。

4. 多 Master 多 Slave 模式，同步复制 

        与第三种方式类似，不同的是，HA 采用同步复制，生产者发送发送消息时，只有再主备都写成功，才向应用返回成功。 

        优点: 数据与服务都无单点，Master 宕机情况下，消息无延迟，服务可用性与数据可用性都非常高     

        缺点: 性能比异步复制模式略低，大约低 10%左右，发送单个消息的 RT 会略高。

接下来，笔者将将演示在Linux操作系统中如何搭建一个单节点NameServer集群，以及上述四种Broker集群，并由这个单节点的NameServer集群来管理这四个Broker集群。

注意：在实际生产环境中，NameServer以及每个Broker节点(不管是master还是slave)，都是部署在不同的机器上的。这里简单起见，将通过伪分布式的方式进行搭建，即所有节点都运行在一台机器上。如果读者希望搭建完整的分布式集群，可以使用vmvare/virtualbox等工具，只需要将本文的配置拷贝即可。

2 前提条件

wRocketMQ NameServer和Broker是基于Java 开发的，需要安装JDK，且需要保证二者版本的匹配。下图列出安装/运行RocketMQ需要的JDK版本。

本文以RocketMQ 4.6.0版本为例进行讲解，对应JDK版本为1.8。本文不讲解JDK如何安装，读者可自行查阅相关资料。确保JDK的版本>=1.8，可以通过如下方式验证：

$ java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode

3 下载安装

下载

该地址列出了RocketMQ所有发布的版本：https://github.com/apache/rocketmq/releases

这里将RocketMQ安装到Linux文件系统的/opt目录，首先进入/opt目录

cd /opt

可以直接从github下载，但是网速较慢

$ wget https://github.com/apache/rocketmq/archive/rocketmq-all-4.6.0.zip

网速慢的同学也可以从国内镜像下载：

$ wget https://mirrors.tuna.tsinghua.edu.cn/apache/rocketmq/4.6.0/rocketmq-all-4.6.0-bin-release.zip

下载之后进行解压缩：

$ unzip rocketmq-all-4.6.0-bin-release.zip

解压目录说明

rocketmq-all-4.6.0-bin-release
├── benchmark #性能测试脚本
├── bin       #命令行工具
├── conf      #配置文件目录
├── lib       #依赖的第三方类库
├── LICENSE
├── NOTICE
└── README.md

设置ROKCKET_HOME环境变量：

在这里，将我们将RocketMQ安装包的解压目录设置为ROCKETMQ_HOME环境变量。例如笔者的解压目录为：

$ pwd
/opt/rocketmq-all-4.6.0-bin-release

为了以后升级方便，我们创建一个软连接：

sudo ln -s /opt/rocketmq-all-4.6.0-bin-release rocketmq

修改/etc/profile，添加以下一行：

export ROCKETMQ_HOME=/opt/rocketmq

执行以下命令，使得环境变量生效

source /etc/profile

验证环境变量生效：

$ echo $ROCKETMQ_HOME
/opt/rocketmq

3.1 启动NameServer

启动

$ nohup sh bin/mqnamesrv &

验证启动成功

$ jps -l
3961157 sun.tools.jps.Jps
3953057 org.apache.rocketmq.namesrv.NamesrvStartup #NameServer进程

NameServer默认监听9876端口，也可以通过如下方式验证：

$ lsof -iTCP -nP | grep 9876
java    3953057 tianshouzhi.robin   65u  IPv6 134849198      0t0  TCP *:9876 (LISTEN)

设置NAMESRV_ADDR环境变量，修改etc/profile，添加以下内容：

export NAMESRV_ADDR=localhost:9876

并执行"source /etc/profile"使得其生效

3.2 启动Broker

        ${ROCKETMQ_HOME}/conf目录下，提供了我们讲解到的RocketMQ四种部署模式的demo配置文件，如下所示：

conf
├── 2m-2s-async                   //多Master多Slave模式，异步复制
│   ├── broker-a.properties
│   ├── broker-a-s.properties
│   ├── broker-b.properties
│   └── broker-b-s.properties
├── 2m-2s-sync                    //多Master多Slave 模式，同步复制
│   ├── broker-a.properties
│   ├── broker-a-s.properties
│   ├── broker-b.properties
│   └── broker-b-s.properties
├── 2m-noslave                    //多Master模式
│   ├── broker-a.properties
│   ├── broker-b.properties
│   └── broker-trace.properties
└── broker.conf                   //单Master模式

在实际生产环境中，你可以选择其中一种模式进行部署。从学习的角度，笔者将详细讲解每一种模式，每种模式部署为一个集群，因此总共会部署4个集群。

      另外，生产环境中至少需要部署为双主模式，每个机器只会部署一个broker，因此只使用broker.conf配置文件即可，根据要配置的节点的类型，将其他模式下的配置复制到broker.conf，或者直接修改broker.conf。

3.2.1 单Master模式

修改配置文件：

单master模式可以使用conf目录下的broker.conf 配置文件，内容如下所示：

#集群名称
brokerClusterName=single-master
#broker复制组名称
brokerName=broker-a
#nameserver地址
namesrvAddr=127.0.0.1:9876
#brokerId，因为是master节点，所以这里设置为0
brokerId=0
#监听端口
listenPort=10911
#rocketmq定时清除
deleteWhen=04
#文件保留时间，默认48小时
fileReservedTime=48
#broker角色，异步复制
brokerRole=ASYNC_MASTER
#异步刷盘
flushDiskType=ASYNC_FLUSH
#存储目录
storePathRootDir=/data/rocketmq/single-master/broker-a/store
storePathCommitLog=/data/rocketmq/single-master/broker-a/store/commitlog

     注意：如果配置项名称或者值写错，broker启动时并不会报错，会使用默认值替代，常见错误：如在=号两边加了空格，这里是不需要的。

     启动通过bin目录下的mqbroker脚本。由于默认的配置，启动后会立即占用8G内存，如果机器内存不够，可以修改bin/runbroker.sh，找到以下这一行：

JAVA_OPT="${JAVA_OPT} -server -Xms8g -Xmx8g -Xmn4g"

将其修改为：

JAVA_OPT="${JAVA_OPT} -server -Xms2g -Xmx2g -Xmn1g"

启动：

$ nohup sh bin/mqbroker -c conf/broker.conf &

注意：broker启动时不会读取broker.conf中的配置，尽管也可以启动，但是如果需要使得配置文件生效，必须通过-c参数进行指定。

验证启动成功：

$ jps -l
3961157 sun.tools.jps.Jps
3960977 org.apache.rocketmq.broker.BrokerStartup
3953057 org.apache.rocketmq.namesrv.NamesrvStartup

NameServer默认监听在10911端口，也可以通过以下方式验证：

$ lsof -iTCP -nP | grep 10911
java    37686 tianshouzhi.robin  107u  IPv6 137040246      0t0  TCP *:10911 (LISTEN)

如果启动失败，可以通过以下命令查看错误的具体信息：

tail -200f ~/logs/rocketmqlogs/broker.log

测试发送/消费消息

安装包bin目录下提供了一个tools.sh工具，我们可以通过其来测试发送/接收消息。

测试发送消息：

执行以下命令将会往一个名为TopicTest主题中发送1000条消息

$ sh bin/tools.sh org.apache.rocketmq.example.quickstart.Producer 
SendResult [sendStatus=SEND_OK, msgId=FDBDDC0300FF00010001022700120225003C3D4EAC696720298203E7, 
offsetMsgId=AC11000100002A9F0000000000037567, 
messageQueue=MessageQueue [topic=TopicTest, brokerName=broker-a, queueId=3], 
wqueueOffset=249]
...

测试消费消息：

执行以下命令，将会之前的消费1000条消息

$ sh bin/tools.sh org.apache.rocketmq.example.quickstart.Consumer
ConsumeMessageThread_%d Receive New Messages: [MessageExt… 
...

这里我们是通过命令行工具来发送/消费消息，在后文中，我们将介绍如何通过API的方式来完成相同的功能。

查看集群列表信息：

$ sh bin/mqadmin clusterList -n localhost:9876
#Cluster Name    #Broker Name   #BID        #Addr           #Version   #...(略)
single-master    broker-a      0        192.168.1.3:10911     V4_6_0    …

输出的每一列说明如下：

• Cluster Name：集群的名称，即brokerClusterName配置项的值

• Broker Name：Broker的名称，即brokerName配置项的值

• BID：Broker的ID，这里显示为0，即brokerId配置项的值

• Addr：监听的IP/端口，供生产者/消费者访问，端口即listenPort配置项的值

• Version：broker的版本

3.2.2 多Master模式

这里演示的多master模式是双主模式：包含2个master节点，没有slave节点。如前所属，这里是伪分布式，在一台机器上启动两个master节点。我们需要对conf/2m-noslave目录下的2个配置文件进行一些修改，否则会与前面搭建的单master模式存在一些冲突，如监听的端口和保存数据的路径等。

修改后的结果如下所示：

conf/2m-noslave/broker-a.properties

brokerClusterName=2m-noslave
listenPort=11911
namesrvAddr=127.0.0.1:9876
brokerName=2m-broker-a
brokerId=0
deleteWhen=04
fileReservedTime=48
brokerRole=ASYNC_MASTER
flushDiskType=ASYNC_FLUSH
storePathRootDir=/data/rocketmq/2m-noslave/broker-a/store/
storePathCommitLog=/data/rocketmq/2m-noslave/broker-a/store/commitlog/
storePathConsumerQueue=/data/rocketmq/2m-noslave/broker-a/store/consumequeue/

conf/2m-noslave/broker-b.properties

brokerClusterName=2m-noslave
listenPort=12911
namesrvAddr=127.0.0.1:9876
brokerName=2m-broker-b
brokerId=0
deleteWhen=04
fileReservedTime=48
brokerRole=ASYNC_MASTER
flushDiskType=ASYNC_FLUSH
storePathRootDir=/data/rocketmq/2m-noslave/broker-b/store/
storePathCommitLog=/data/rocketmq/2m-noslave/broker-b/store/commitlog/
storePathConsumerQueue=/data/rocketmq/2m-noslave/broker-b/store/consumequeue/

在这里，我们将两个配置文件中的brokerClusterName都改成了2m-noslave，表名这两个broker节点将组成一个新的集群。也别修改了listenPort配置项以监听不同的端口，此外，我们修改了三个storePath前缀的配置项，将数据存储到不同的目录中。

特别需要注意的是：一些同学可能认为brokerClusterName已经不同了，没有必要修改brokerName配置项，这是一种误解。在RocketMQ中，一个NameServer集群可以多个Broker集群，但是broker集群的名称并没有起到命名空间的作用，因此管理的所有Broker集群下的broker复制组的名称都不能相同。

启动broker-a

nohup sh bin/mqbroker -c conf/2m-noslave/broker-a.properties &

启动broker-b

nohup sh bin/mqbroker -c conf/2m-noslave/broker-b.properties &

在启动之后，当我们在查看集群列表信息时，如下：

$ sh bin/mqadmin clusterList -n localhost:9876
#Cluster Name     #Broker Name     #BID  #Addr               #Version
single-master     broker-a          0     192.168.1.3:10911   V4_6_0  
2m-noslave        2m-broker-a       0     192.168.1.3:11911   V4_6_0  
2m-noslave        2m-broker-b       0     192.168.1.3:12911   V4_6_0

这里显示了2个broker集群：single-master和2m-noslave，其中后者存在两个节点。

3.2.3 多 Master 多 Slave 模式，异步复制 

该模式需要使用conf/2m-2s-async目录下的四个配置文件。同样我们需要修改brokerClusterName，listenPort，brokerName以及存储路径。特别需要注意的是对于slave，其brokerRole配置项需要为SLAVE，brokerId是需要时一个大于0的值。

修改后的结果如下所示：

conf/2m-2s-async/broker-a.properties

brokerClusterName=2m-2s-async
listenPort=13911
namesrvAddr=127.0.0.1:9876
brokerName=2m-2s-async-broker-a
brokerId=0
deleteWhen=04
fileReservedTime=48
brokerRole=ASYNC_MASTER
flushDiskType=ASYNC_FLUSH
storePathRootDir=/data/rocketmq/2m-2s-async/broker-a-0/store/
storePathCommitLog=/data/rocketmq/2m-2s-async/broker-a-0/store/commitlog/
storePathConsumerQueue=/data/rocketmq/2m-2s-async/broker-a-0/store/consumequeue/

conf/2m-2s-async/broker-a-s.properties

brokerClusterName=2m-2s-async
listenPort=14911
namesrvAddr=127.0.0.1:9876
brokerName=2m-2s-async-broker-a
brokerId=1
deleteWhen=04
fileReservedTime=48
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH
storePathRootDir=/data/rocketmq/2m-2s-async/broker-a-1/store/
storePathCommitLog=/data/rocketmq/2m-2s-async/broker-a-1/store/commitlog/
storePathConsumerQueue=/data/rocketmq/2m-2s-async/broker-a-1/store/consumequeue/

conf/2m-2s-async/broker-b.properties

brokerClusterName=2m-2s-async
listenPort=15911
namesrvAddr=127.0.0.1:9876
brokerName=2m-2s-async-broker-b
brokerId=0
deleteWhen=04
fileReservedTime=48
brokerRole=ASYNC_MASTER
flushDiskType=ASYNC_FLUSH
storePathRootDir=/data/rocketmq/2m-2s-async/broker-b-0/store/
storePathCommitLog=/data/rocketmq/2m-2s-async/broker-b-0/store/commitlog/
storePathConsumerQueue=/data/rocketmq/2m-2s-async/broker-b-0/store/consumequeue/

conf/2m-2s-async/broker-b-s.properties

brokerClusterName=2m-2s-async
listenPort=16911
namesrvAddr=127.0.0.1:9876
brokerName=2m-2s-async-broker-b
brokerId=1
deleteWhen=04
fileReservedTime=48
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH
storePathRootDir=/data/rocketmq/2m-2s-async/broker-b-1/store/
storePathCommitLog=/data/rocketmq/2m-2s-async/broker-b-1/store/commitlog/
storePathConsumerQueue=/data/rocketmq/2m-2s-async/broker-b-1/store/consumequeue/

依次启动：

nohup sh bin/mqbroker -c conf/2m-2s-async/broker-a.properties &
nohup sh bin/mqbroker -c conf/2m-2s-async/broker-a-s.properties &
nohup sh bin/mqbroker -c conf/2m-2s-async/broker-b.properties &
nohup sh bin/mqbroker -c conf/2m-2s-async/broker-b-s.properties &

查看集群信息：

$ sh bin/mqadmin clusterList -n localhost:9876
#Cluster Name     #Broker Name            #BID  #Addr                  #Version
single-master     broker-a                0     172.17.0.1:10911       V4_6_0   
2m-2s-async       2m-2s-async-broker-a    0     172.17.0.1:13911       V4_6_0   
2m-2s-async       2m-2s-async-broker-a    1     172.17.0.1:14911       V4_6_0   
2m-2s-async       2m-2s-async-broker-b    0     172.17.0.1:15911       V4_6_0   
2m-2s-async       2m-2s-async-broker-b    1     172.17.0.1:16911       V4_6_0   
2m-noslave        2m-broker-a             0     172.17.0.1:11911       V4_6_0   
2m-noslave        2m-broker-b             0     172.17.0.1:12911       V4_6_0

这里多出了2m-2s-async集群的四个broker节点信息。

3.2.4 多 Master 多 Slave 模式，同步复制 

        该模式需要使用conf/2m-2s-sync目录下的四个配置文件，与异步复制最大的不同是，需要将master节点的brokerRole配置项需要改为SYNC_MASTER。这里不再赘述。如果是在同一台机器上搭建此模式，记得修对应的参数。

3.3 停止

bin目录安装包下有一个mqshutdown脚本，其既可以关闭Broker，也可以关闭NameServer。注意该脚本会将本机上启动的所有Broker或所有NameServer关闭。

停止broker

$ sh bin/mqshutdown broker
The mqbroker(67521
74023
74153
362837
362958
363070) is running...
Send shutdown request to mqbroker(67521
74023
74153
362837
362958
363070)

停止nameserver

$ sh bin/mqshutdown namesrv
The mqnamesrv(3953057) is running...
Send shutdown request to mqnamesrv(3953057) OK

4  常见安装错误

错误1：端口已被占用

java.net.BindException: Address already in use
        at sun.nio.ch.Net.bind0(Native Method)
        at sun.nio.ch.Net.bind(Net.java:433)
        at sun.nio.ch.Net.bind(Net.java:425)
        at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:223)
        at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:74)
        at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:67)
        at

原因：重复监听了同一个端口，通常是对同一个配置文件启动了多次，或者配置listenPort端口未生效。

错误2：MQ已启动

java.lang.RuntimeException: Lock failed,MQ already started
        at org.apache.rocketmq.store.DefaultMessageStore.start(DefaultMessageStore.java:222)
        at org.apache.rocketmq.broker.BrokerController.start(BrokerController.java:853)
        at org.apache.rocketmq.broker.BrokerStartup.start(BrokerStartup.java:64)
        at org.apache.rocketmq.broker.BrokerStartup.main(BrokerStartup.java:58)

原因：多个配置文件中，可能指定了相同的存储路径，检查配置是否正确。

错误3：配置文件不存在

java.io.FileNotFoundException: conf/2m-2s-async/broker-a-m.properties (No such file or directory)
        at java.io.FileInputStream.open0(Native Method)
        at java.io.FileInputStream.open(FileInputStream.java:195)
        at java.io.FileInputStream.<init>(FileInputStream.java:138)
        at java.io.FileInputStream.<init>(FileInputStream.java:93)
        at org.apache.rocketmq.broker.BrokerStartup.createBrokerController(BrokerStartup.java:128)
        at org.apache.rocketmq.broker.BrokerStartup.main(BrokerStartup.java:58)

配置文件不存在，检查对应目录下是否有此文件

错误4：内存分配失败

未按照前文所属修改bin/runserver.sh，bin/runbroker.sh脚本，导致启动每一个节点时占用内存过多。如果本身机器内存就不足，可以不必同时运行这么多模式。