Mesos+Zookeeper+Marathon的Docker管理平台部署记录（1）

随着”互联网+”时代的业务增长、变化速度及大规模计算的需求，廉价的、高可扩展的分布式 x86 集群已成为标准解决方案，如 Google 已经在几千万台服务器上部署分布式系统。Docker 及其相关技术的出现和发展，又给大规模集群管理带来了新的想象空间。如何将二者进行有效地结合？下面将记录使用 Mesos+Zookeeper+Marathon+Docker 分布式部署 Paas 云平台环境，其中：

一、Mesos 是什么？

Mesos 是 Apache 下的开源分布式资源管理框架，它被称为是分布式系统的内核。Mesos 能够在同样的集群机器上运行多种分布式系统类型，更加动态有效率低共享资源。提供失败侦测，任务发布，任务跟踪，任务监控，低层次资源管理和细粒度的资源共享，可以扩展伸缩到数千个节点。Mesos 已经被 Twitter 用来管理它们的数据中心。

Mesos 中的基本术语解释：

先来看下 Mesos 的基础架构

首先 Mesos 是一个 Master／Agent 的架构方式，其中：

Mesos 总体架构图如下：

上图展示了 mesos 的重要组成部分：

从上面图中可以看到，Mesos 有 Framework（Framework 里面有 Scheduler）, Master（Master 里面有 Allocator）、Agent、Executor、Task 几部分组成。
这里面有两层的 Scheduler，一层在 Master 里面，Allocator 会将资源公平的分给每一个 Framework，二层在 Framework 里面，Framework 的 Scheduler 将资源按规则分配给 Task。
Mesos 的这几个角色在一个任务运行的生命周期中，相互关系如下：

Agent 会将资源汇报给 Master，Master 会根据 Allocator 的策略将资源 offer 给 Framework 的 Scheduler。Scheduler 可以 accept 这个资源，运行一个 Task，Master 将 Task 交给 Agent，Agent 交给 Executor 去真正的运行这个 Task。

Mesos 资源提供的例子

简单梳理下以上图中的流程步骤：

Mesos 框架是一个在 Mesos 上运行分布式应用的应用程序，它有两个组件：

下面看看其是如何实现资源调用？Mesos 通过”resources offers” 分配资源，资源其实是当前可用资源的一个快照，调度器将使用这些资源在 mesos 从服务器上运行任务。
Mesos 主从服务器调度资源的顺序图如下：

首先由 Mesos 主服务器查询可用资源给调度器，第二步调度器向主服务器发出加载任务，主服务器再传达给从服务器，从服务器向执行器命令加载任务执行，执行器执行任务以后，将状态反馈上报给从服务器，最终告知调度器 。
从服务器下管理多个执行器，每个执行器是一个容器，以前可以使用 Linux 容器 LXC，现在使用 Docker 容器。

Mesos 失败恢复和高可用性

二、 Zookeeper是什么？

ZooKeeper 是用来给集群服务维护配置信息，域名服务，提供分布式同步和提供组服务。所有这些类型的服务都使用某种形式的分布式应用程序。ZooKeeper 是一个分布式的，开放源码的协调服务，是的 Chubby 一个的实现，是 Hadoop 和 Hbase 的重要组件。

ZooKeeper 角色

ZooKeeper 的工作原理

ZooKeeper 选主流程

选主的具体流程图如下所示：

fast paxos（算法优化）流程是在选举过程中，某 Server 首先向所有 Server 提议自己要成为 leader，当其它 Server 收到提议以后，解决 epoch 和 zxid 的冲突，并接受对方的提议，然后向对方发送接受提议完成的消息，重复这个流程，最后一定能选举出 Leader。其流程图如下所示：

ZooKeeper 同步流程

流程图如下所示：

ZooKeeper 工作流程

1）Leader 工作流程

Leader 的工作流程简图如下所示，在实际实现中，流程要比下图复杂得多，启动了三个线程来实现功能。

2）Follower 工作流程

Follower 的工作流程简图如下所示，在实际实现中，Follower 是通过 5 个线程来实现功能的。

三、搞懂 marathon

Marathon是一个成熟的，轻量级的，扩展性很强的 Apache Mesos 的容器编排框架，它主要用来调度和运行常驻服务（long-running service），提供了友好的界面和 Rest API 来创建和管理应用。marathon 是一个 mesos 框架，能够支持运行长服务，比如 web 应用等，它是集群的分布式 Init.d，能够原样运行任何 Linux 二进制发布版本，如 Tomcat Play 等等，可以集群的多进程管理。也是一种私有的 Pass，实现服务的发现，为部署提供提供 REST API 服务，有授权和 SSL、配置约束，通过 HAProxy 实现服务发现和负载平衡。

这样，我们可以如同一台 Linux 主机一样管理数千台服务器，它们的对应原理如下图，使用Marathon类似 Linux 主机内的 init Systemd 等外壳管理，而 Mesos 则不只包含一个 Linux 核，可以调度数千台服务器的 Linux 核，实际是一个数据中心的内核：

Marathon中重要的概念介绍
1）Application 是 Marathon 中一个重要的核心概念，它代表了一个长服务。

2）Application definition 表示一个长服务的定义，规定了一个 Application 启动和运行时的所有行为。Marathon 提供了两种方式让你来定义你的长服务，第一种通过 Portal 来定义，它方便终端用户的理解和使用，另一种是通过 JSON 格式的文件来定义，并通过 RestAPI 的方式来创建和管理这个 Application，这种方式方便和第三方的系统进行集成，提供了再次的可编程接口。

3）Application instance 表示一个 Application 的实例，也称作 Mesos 的一个 task。Marathon 可以为一个 Application 创建和管理多个实例，并可以动态的增大和减小某个 Application 实例的个数，并且通过 Marathon-lb 实现服务发现和负载均衡。

4）Application Group：Marathon 可以把多个 Application 组织成一棵树的结构，Group 称为这个树的树枝，Application 称为这个树的叶子。同一个 Group 中的 Application 可以被 Marathon 统一管理。

5）Deployments:对 Application 或者 Group 的 definition 的一次修改的提交称为一次 deployment。它包括创建，销毁，扩容缩容 Application 或者 Group 等。多个 deployments 可以同时进行，但是对于一个应用的 deployments 必须是串行的，如果前一个 deployment 没有结束就执行下一个 deployment，那么它将会被拒绝。

————————————————————————————————————————————–
四、Mesos+Zookeeper+Marathon 的 Docker管理平台部署过程记录

1）服务器架构

机器信息如下：

为了直观的理解，简单的画了一张架构图：

2）配置 mesos-master（3 台 master 节点都要操作）

3）配置 slave 节点（3 台 slave 节点都要操作）

4）访问 web 管理页面
访问 mesos 的管理页面，即访问 http://master_ip:5050 
注意：master_ip 是这 3 个 master 中的任意一个就行，经过 zookeeper 选主，会自动跳到了 leader 的页面，如图 mesos 的 leader 为 182.48.115.236（即 master3 被选为 leader master）

在 Frameworks 中已经能够识别 marathon，此时 marathon 的 leader 为 182.48.115.236.
注意：mesos 和 marathon 都是有 zookeeper 来选举 leader，但是选主过程彼此独立，就是 mesos 的 leader 和 marathon 的 leader 可以不一样。如图这里二者通过 zookeeper 选出的 leader 是同一台机器（即都是 master3：182.48.115.236）

点击”Agents”，发现已经能够识别出三个 slave。
注意：这里访问 mesos 显示的是”Agents”选项，老版本的 mesos 显示的是”Salve“选项

点击上面 3 个 slave 中的任意一个，也能看出它的 master 是 182.48.115.236

访问 marathon 的管理页面，http://master_ip:8080
这里的 master_ip 就是在上面访问 mesos 页面 Frameworks 中识别出的 marathon，即 http://182.48.115.236:8080
或者直接点击 mesos 访问页面 Frameworks 中识别出的 marathon 也可以。

或者点击下图标红的 marathon（即 zookeeper 选出的主 marathon），可以出现 marathon 的管理界面

5）通过 Mesos 调度，使用 marathon 来创建容器
比如创建一个 nginx 镜像的 Docker 容器，Marathon 启动时会读取/etc/mesos/zk 配置文件，Marathon 通过 Zookeeper 来找到 Mesos Master。
Marathon 有自己的 REST API，我们通过 API 的方式来创建一个 Nginx 的 Docker 容器。

首先创建一个 json 文件（这个要在 master 节点机器上创建，任意一台 master 节点机上都可以）：

接着使用 curl 的方式调用。注意上面的 nginx.json 文件是在/root 路径下的（注意下面命令中 json 文件路径）。

登陆 marathon 界面查看是在哪一台 slave 机器上创建的 docker 容器实例（这个是随机的），点击”running”。(如果容器创建失败，即非”running”状态，可以尝试重启 slave 节点的 docker 服务)

如上截图中可知，这个 nginx 容器是在 slave3 节点机（182.48.115.239）上创建的（注意：如果 slave3 节点机宕机或 docker 服务重启，那么这个 nginx 容器就会自动漂移到其他的 slave 节点机上；另外，通过上面方式创建好的容器，在单个 slave 节点机上删除后，容器也会自动转移到其他 slave 节点机器上，这样就实现了在 slave 节点出现故障时容器自动转移的高可用功能）。可以登陆 slave3 机器查看所创建的容器，如下可知：访问 Docker 随机启动的端口是 31782

访问所创建的 nginx 容器。（marathon ui 界面里创建的 docker 容器映射到宿主机的访问端口默认都是随机分配的（BRIDGE 模式））、可以自己制作应用的 docker 镜像，或者自定义构建容器并提交为新镜像（自己设定应用容器结构），然后根据自己制作的镜像在 Marathon 上创建应用。

接着访问 mesos 页面，可以看到”Active Tasks”有刚才创建的 nginx 任务了。（注意：只有当 mesos 访问界面”Active Tasks”里有容器创建任务时，才说明此容器真正创建成功了）

删除 marathon 创建的 docker 实例。如下图，点击”Destory”即可删除。

然后登陆 slave3 机器，发现在服务器上，这个容器只是被关闭了（docker ps -a），可以选择删除。如果再次在机器上启动这个 nginx 容器，那么在 marathon 上是不会显示的。注意：在节点机器上手动创建的 docker 容器，这些容器信息是不会在 marathon 和 mesos 里展示的。

如上在 marathon 界面里”Destory”删除对应的 application 后，在 mesos 界面的”Active Tasks”里的对应任务也会删除

另外要注意：在 marathon 界面里通过调用 mesos 创建 docker 容器，只能创建应用容器（Application），如 nginx、tomcat、mysql、redis 等，需要映射端口，这里是映射的是宿主机的随机端口。不能创建基本 centos，ubuntu 的系统容器！

—————————————————————————————————————————————-
可以直接在 marathon 界面里手动创建 docker 应用容器：

首先点击 marathon 界面里右上角的”Create Application”

然后填写创建容器的配置信息，如下图，可以点击”New Application”创建页面右上角的”JSON Mode”模式，将上面创建 nginx 容器的 json 文件复制到这里

这样，就可以直接创建一个 docker 应用容器了。（复制写好的 json 文件到这里后，可以再次关闭”JSON Mode”模式，然后对比下所选用的配置）
下面我关闭”JSON mode”模式，手动选择配置信息去创建 tomcat 容器：

Marathon 还可以对 App 应用实现手动扩缩的功能，选择”Scale Application”进行快速扩容。如下图，对上面已创建的 tomcat 应用容器进行扩展到 2 个 Task（注意：这里有 3 个 slave 节点，那么扩展的 Task 实例最好是 2 个，3/2=1.5，即 2 个 Instances；如果扩展多个 Task，会发现多余的创建失败，这时候可以点击”Configuration”修改，修改成 2 个）

——————————————————————————————————

查看容器创建的日志，可以在 marathon 界面里下载，也可以到 mesos 页面里查看或下载。如下图：

 点击下面的日志”stderr”和”stdout”就会下载到本地。

也可以到 mesos 页面查看或下载。点击下面 mesos 页面对应容器任务后面的”Sandbox”

—————————————————————————————————————————————
具体配置可以参考 marathon 官方文档：https://mesosphere.github.io/marathon/docs/persistent-volumes.html
里面有关于 json 文件的配置

————————————————–marathon 创建应用使用 volumes—————————————————
在 marathon 界面里创建应用，可以使用 volumes，即映射容器目录到宿主机上，JSON 文件内容如下：

在 marathon 界面里创建 nginx 容器应用时，将上面的 JSON 文件复制到”JSON Mode”模式下，然后创建即可！非”JSON Mode”模式下手动填写，Volumes 选项填写如下

点击”Configuration”,就可以看到容器创建的配置信息，并可以”Edit”修改

注意事项：

—————————————————marathon 创建应用指定访问端口———————————————–

如下 JSON 文件内容，注意一下：如果 hostport 端口指定了，那么 serviceport 端口也要指定（最好使用大端口），否则会导致应用容器创建失败

在 marathon 界面里创建应用，将上面的 JSON 文件内容复制到”JSON Mode”模式下。构建成功后，就会发现该应用容器的访问端口就是上面自己定义的 31030 端口了（如下）

—————————————————其他—————————————————————————–

在 marathon 中，应用是一个完整的概念。每个应用是一个典型的长运行的服务，这个服务有很多实例，并且是运行在多个 slave 节点机上。下面通过一个小示例说明下：

一个内嵌的 shell 脚步
如下通过内嵌的 shell 脚步，编写一个简单的 app，即：
打印 Hello world 到 slave 节点的/mnt/test 文件中，然后 sleep 5 秒，周而复始。可以使用下面的应用定义文件（json 格式）来描述应用（注意：cmd 是要执行的命令。它的值会以/bin/sh -c ${cmd}的方式执行。）：

在 marathon 界面里添加应用，采用”JSON Mode “模式，如下：

不采用”JSON Mode”模式，即将上面的 json 文件内容粘贴进去后，去掉右上方的”JSON Mode”模式，也就是只配置”General”选向，其他选项都不配置。注意：marathon 里的应用是一个长运行服务，所以 shell 脚本里要配置长运行动作。

 然后到 182.48.115.239 这台 slave 节点机上检查，发现每隔 5 秒钟，就会输出”hello world”到/mnt/test 文件中。如果这台节点机出现故障，就会输出到其他节点机上。

***************当你发现自己的才华撑不起野心时，就请安静下来学习吧***************

喜欢 (0)赏

[]

分享 (0)