博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Configuring Zookeeper Cluster
阅读量:6507 次
发布时间:2019-06-24

本文共 5637 字,大约阅读时间需要 18 分钟。

本文介绍的 Zookeeper 是以 3.4.10 这个稳定版本为基础,最新的版本可以通过。Zookeeper 不仅可以单机提供服务,同时也支持多机组成集群来提供服务。实际上 Zookeeper 还支持另外一种伪集群的方式,也就是可以在一台物理机上运行多个 Zookeeper实例。Zookeeper的安装非常简单,本文主要介绍集群模式的安装和配置。环境如下图所示:

Configuring Zookeeper Cluster

1、安装

[hadoop@hdp01 ~]$ wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/stable/zookeeper-3.4.10.tar.gz[hadoop@hdp01 ~]$ tar -xzf zookeeper-3.4.10.tar.gz[hadoop@hdp01 ~]$ mv zookeeper-3.4.10 /u01/zookeeper

创建两个文件夹分别存放data和log:

[hadoop@hdp01 ~]$ mkdir /u01/zookeeper/data/[hadoop@hdp01 ~]$ mkdir /u01/zookeeper/logs/

2、配置

2.1 创建配置文件
zoo.cfg是zookeeper的主要配置文件,因为Zookeeper是一个集群服务,集群的每个节点都需要这个配置文件。为了避免出差错,zoo.cfg这个配置文件里没有跟特定节点相关的配置,所以每个节点上的这个zoo.cfg都是一模一样的配置。这样就非常便于管理了,比如我们可以把这个文件提交到版本控制里管理起来。其实这给我们设计集群系统的时候也是个提示:集群系统一般有很多配置,应该尽量将通用的配置和特定每个服务的配置(比如服务标识)分离,这样通用的配置在不同服务之间copy就可以了。

[hadoop@hdp01 ~]$ vi /u01/zookeeper/conf/zoo.cfg # The number of milliseconds of each ticktickTime=2000# The number of ticks that the initial# synchronization phase can takeinitLimit=10# The number of ticks that can pass between# sending a request and getting an acknowledgementsyncLimit=5# the directory where the snapshot is stored.# do not use /tmp for storage, /tmp here is just# example sakes.dataDir=/u01/zookeeper/datadataLogDir=/u01/zookeeper/logs# the port at which the clients will connectclientPort=2181# the maximum number of client connections.# increase this if you need to handle more clientsmaxClientCnxns=100## Be sure to read the maintenance section of the# administrator guide before turning on autopurge.## http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance## The number of snapshots to retain in dataDir#autopurge.snapRetainCount=3# Purge task interval in hours# Set to "0" to disable auto purge feature#autopurge.purgeInterval=1server.1=hdp01:2888:3888server.2=hdp02:2888:3888server.3=hdp03:2888:3888server.4=hdp04:2888:3888
  • tickTime:则是上述两个超时配置的基本单位,例如对于initLimit,其配置值为5,说明其超时时间为 2000ms * 5 = 10秒。
  • dataDir:顾名思义就是 Zookeeper 保存数据的目录,默认情况下,Zookeeper 将写数据的日志文件也保存在这个目录里。其配置的含义跟单机模式下的含义类似,不同的是集群模式下还有一个myid文件。myid文件的内容只有一行,且内容只能为1 - 255之间的数字,这个数字亦即上面介绍server.id中的id,表示zk进程的id。
  • dataLogDir:如果没提供的话使用的则是dataDir。zookeeper的持久化都存储在这两个目录里。dataLogDir里是放到的顺序日志(WAL)。而dataDir里放的是内存数据结构的snapshot,便于快速恢复。为了达到性能最大化,一般建议把dataDir和dataLogDir分到不同的磁盘上,这样就可以充分利用磁盘顺序写的特性。
  • initLimit:ZooKeeper集群模式下包含多个zk进程,其中一个进程为leader,余下的进程为follower。当follower最初与leader建立连接时,它们之间会传输相当多的数据,尤其是follower的数据落后leader很多。initLimit配置follower与leader之间建立连接后进行同步的最长时间。
  • syncLimit:配置follower和leader之间发送消息,请求和应答的最大时间长度。
  • server.id=host:port1:port2
    server.id:其中id为一个数字,表示zk进程的id,这个id也是data目录下myid文件的内容
    host:是该zk进程所在的IP地址
    port1:表示follower和leader交换消息所使用的端口
    port2:表示选举leader所使用的端口
  • clientPort:这个端口就是客户端连接 Zookeeper 服务器的端口,Zookeeper 会监听这个端口,接受客户端的访问请求。
    2.2 创建myid文件
    Zookeeper 启动时会读取myid文件,拿到里面的数据与 zoo.cfg 里面的配置信息比较从而判断到底是那个 server。在创建myid之前,先把zookeeper的所有文件复制到其它节点。
    [hadoop@hdp01 ~]$ for i in {2..4};do scp -r /u01/zookeeper hdp0$i:/u01/zookeeper;done[hadoop@hdp01 ~]$ for i in {1..4};do ssh hdp0$i "echo $i >/u01/zookeeper/data/myid";done

    3、管理

    3.1 启动集群
    在任意一台机器上操作即可。

    [hadoop@hdp01 ~]$ for i in {1..4};do ssh hdp0$i "source .bash_profile;zkServer.sh start";doneZooKeeper JMX enabled by defaultUsing config: /u01/zookeeper/bin/../conf/zoo.cfgStarting zookeeper ... STARTEDZooKeeper JMX enabled by defaultUsing config: /u01/zookeeper/bin/../conf/zoo.cfgStarting zookeeper ... STARTEDZooKeeper JMX enabled by defaultUsing config: /u01/zookeeper/bin/../conf/zoo.cfgStarting zookeeper ... STARTEDZooKeeper JMX enabled by defaultUsing config: /u01/zookeeper/bin/../conf/zoo.cfgStarting zookeeper ... STARTED

    3.2 查看集群状态

    [hadoop@hdp01 ~]$ for i in {1..4};do ssh hdp0$i "source .bash_profile;zkServer.sh status";doneZooKeeper JMX enabled by defaultUsing config: /u01/zookeeper/bin/../conf/zoo.cfgMode: followerZooKeeper JMX enabled by defaultUsing config: /u01/zookeeper/bin/../conf/zoo.cfgMode: followerZooKeeper JMX enabled by defaultUsing config: /u01/zookeeper/bin/../conf/zoo.cfgMode: leaderZooKeeper JMX enabled by defaultUsing config: /u01/zookeeper/bin/../conf/zoo.cfgMode: follower

    3.3 连接集群

[hadoop@hdp01 ~]$ zkCli.sh -server hdp01:2181,hdp02:2181,hdp03:2181,hdp04:2181Connecting to localhost:21812017-12-13 10:08:15,949 [myid:] - INFO  [main:Environment@100] - Client environment:zookeeper.version=3.4.10-39d3a4f269333c922ed3db283be479f9deacaa0f, built on 03/23/2017 10:13 GMT2017-12-13 10:08:15,957 [myid:] - INFO  [main:Environment@100] - Client environment:host.name=hdp01.thinkjoy.tt2017-12-13 10:08:15,957 [myid:] - INFO  [main:Environment@100] - Client environment:java.version=1.8.0_1522017-12-13 10:08:15,961 [myid:] - INFO  [main:Environment@100] - Client environment:java.vendor=Oracle Corporation2017-12-13 10:08:15,961 [myid:] - INFO  [main:Environment@100] - Client environment:java.home=/usr/java/jdk1.8.0_152/jre......Welcome to ZooKeeper!2017-12-13 10:08:16,001 [myid:] - INFO  [main-SendThread(localhost:2181):ClientCnxn$SendThread@1032] - Opening socket connection to server localhost/0:0:0:0:0:0:0:1:2181. Will not attempt to authenticate using SASL (unknown error)JLine support is enabled2017-12-13 10:08:16,081 [myid:] - INFO  [main-SendThread(localhost:2181):ClientCnxn$SendThread@876] - Socket connection established to localhost/0:0:0:0:0:0:0:1:2181, initiating session2017-12-13 10:08:16,093 [myid:] - INFO  [main-SendThread(localhost:2181):ClientCnxn$SendThread@1299] - Session establishment complete on server localhost/0:0:0:0:0:0:0:1:2181, sessionid = 0x1604d9842db0006, negotiated timeout = 30000WATCHER::WatchedEvent state:SyncConnected type:None path:null[zk: localhost:2181(CONNECTED) 0]

参考文献:

1、
2、
3、

转载于:https://blog.51cto.com/candon123/2050091

你可能感兴趣的文章
信息系统审计准则(征求意见稿)
查看>>
世界由物质、能量、信息
查看>>
获取IOS设备型号的代码
查看>>
iOS培训教程——TableView(内置刷新)
查看>>
磁盘的5种卷,RAID—5的修复
查看>>
Android ImageButton
查看>>
手写springmvc框架
查看>>
项目中用到Shiro安全配置用于系统的登录和权限认证
查看>>
JBOSS as 7解决 热部署
查看>>
剖析:学思科的未来(一)
查看>>
LNMP全自动安装脚本
查看>>
Hive 部署
查看>>
Java googlecode JSON 解析示例
查看>>
每天一个linux命令(18):locate 命令
查看>>
EL取出URL中带点的参数
查看>>
LAMP网站架构方案分析
查看>>
extjs年月选择日历及通用js同步ajax调用返回json object
查看>>
分布式系统中的定时任务全解(二)
查看>>
F5 实现pool池转发
查看>>
Apache(httpd)源码包安装
查看>>