[译]在ECS上使用Consul实现服务发现

2016-04-20 Wenjie Yao 更多博文 » 博客 » GitHub »

ECS Consul AWS 服务发现 Docker

原文链接 https://yaowenjie.github.io/cloud/service-discovery-via-consul-with-amazon-ecs
注:以下为加速网络访问所做的原文缓存,经过重新格式化,可能存在格式方面的问题,或偶有遗漏信息,请以原文为准。


本文翻译自文章Service Discovery via Consul with Amazon ECS

  现如今随着微服务架构的出现,很多应用都是以一套分布式组件的形式来部署。在这样的架构中,你需要在多个EC2实例上的多个Docker容器中,配置和协调各种各样的应用程序。   亚马逊EC2容器服务(ECS)提供了一个用于管理资源、任务以及容器调度的集群管理框架。但是,很多应用仍然需要额外的组件来管理分布式组件之间的联系。服务发现的概念就是用来定义这种帮助管理这些联系的组件。 <!--more-->   在接下来的文章中,我将展示HashiCorp公司的Consul是如何通过提供针对ECS集群的服务发现,来实现对亚马逊ECS性能的提升的。同时我也会使用一个示例应用来阐述这些。

服务发现基础

  服务发现工具可以管理集群内进程和服务之间相互发现、相互通信的过程。它们包含创建服务目录,在该目录中注册服务,以及查询和连接到该目录下的服务。   比如,如果你的前端web服务需要连接到后端web服务,可以硬编码它的后端DNS,或者使用服务发现通过名字和其他元数据来找到后端然后最终获得IP地址和端口号。这让集群中的组件可以相互知晓,不管它们监听的是TCP还是UDP端口,还可以通过一个特定的名字来查询和连接服务。因为服务发现就像是连接在组件之间的胶水,它具有很高的可用性和可靠性,并且能够快速响应请求,所以显得十分重要。   亚马逊ECS允许你同时运行或者维护特定数量的任务实例,这也就是一个所谓的服务。你也可以在负载均衡的后面运行服务,这样服务的名字就是固定的了,这是一个简单的服务发现解决方案。虽然这针对很多应用或许有用,但它却不是适用所有情况,你仍然需要在应用(比如说罗列所有服务,然后调用服务描述来获取特定的终端)中植入构建发现的代码。还有一种选择就是使用一款专用的服务发现框架。   Consul就是一款可以克服上述困难的常见服务发现工具。它包含服务发现的核心组件 - 健康检查,以及支持应用配置的键值对存储。Consul是一种分布式系统,具有高可用性,弹性,以及高性能的特点。使用它的还有一个好处,就是Consul通过一般的HTTP或者用于服务查找的DNS接口就可以很简单地与应用集成。

Consul架构

  每个给Consul提供服务的节点都可以作为Consul的一个代理(Consul agent)。这个代理负责这个节点上服务的健康检查。健康检查是每个服务发现框架的重要组成部分,因为只有健康的服务才能被客户端发现;任何不健康的主机都会从Consul的服务上注销。   代理会和一个或者多个Consul服务器会话。Consul服务器会保存并且复制这些数据。根据Raft一致性算法,服务器本身会选择一个指挥者。Consul只需要一个服务器就可以工作,但我们一般推荐使用3到5个服务器,主要是为了避免失败的场景导致的数据丢失。通常情况下,一个AWS地区上的一个应用运营着一个Consul服务器集群。   应用中用于发现其他服务的服务可以查询任何Consul代理或者服务器,因为代理会把这些查询转发到这些服务器。下面的图表展示的就是Consul代理和服务器之间的交互。

更多信息,请参考Consul架构

DNS配置

  Consul最大的特性之一就是允许客户使用标准DNS查询来查找服务。它可以通过正常的DNS A记录查询或者使用DNS SRV记录查询来发现IP地址以及运行该服务的服务器端口。对于运行在同一个实例上的所有Docker容器来说,需要确保Consul代理被用作为了DNS解析器,这种Docker进程的配置方式非常有用。   比如说,假设这个Consul代理安装在一个EC2实例上,并且监听着用于DNS请求的53端口,你可以通过以下的NS查询来查找名为“hello-world”的服务。

$dig @0.0.0.0 –t SRV hello-world.service.consul

  这会返回IP地址和运行该服务的服务器端口。结构看起来应该和下面的差不多:

;; QUESTION SECTION:
;hello-world.service.consul.   IN   SRV
;; ANSWER SECTION:
hello-world.service.consul. 0  IN   SRV  1 1 80 i-28cdc8ce.node.eu1.consul.
;; ADDITIONAL SECTION:
i-28cdc8ce.node.eu1.consul. 0   IN  A   10.0.1.93

Consul和ECS

  每个提供服务的节点都需要启动一台Consul代理。在亚马逊ECS中,你需要为每个ECS集群中的每个ECS实例启动一个Consul代理。通过容器化Consul代理软件你可以很容易实现这些,在ECS实例已经启动了的时候通过调用EC2用户数据脚本就可以启动它。这个代理需要和保存服务目录的Consul服务器通信。为了测试在同一个进程中启动Consul服务器和Consul代理也是有可能的。

示例应用

  解释Consul和ECS之间是如何一起运作的最好方式,还是通过一个由三个组件或者说微服务构成的示例应用:

  • "股票价格"服务,它返回目前的股票价格以及给定股票代码的公司名。该服务为一个HTTP服务,并在HTTP响应中提供了一段JSON文档。
  • “天气”服务,它返回给定城市的当前温度。该服务也是一个HTTP服务,并在HTTP响应中提供了一段JSON文档。
  • “门户”服务,它提供给了包含其他两个服务的用户端网页,可以发送用于查找SRV记录类型的DNS查询,获取该服务的DNS A记录名和端口号。

下图为它的架构:

  在这个例子的架构中,有两个运行着Consul代理的ECS实例,和一个运行着Consul服务器(Consul服务数据保存的地方)的EC2实例。因为只有一个Consul服务器,这一步是为了开发&测试环境而设计的。在产品环境中,一般推荐使用3到5个服务器,用于避免一些错误场景导致的数据丢失。   ECS集群内含运行着微服务的ECS实例。“股票价格”,“天气”,以及“门户”这三个ECS服务被部署到ECS集群中的实例当中。每个ECS实例在实例启动时都会运行两个Docker容器,其中包括一个Consul代理(consul-agent),它提供了通过HTTP的服务发现能力,以及连接到运行在这个实例上所有Docker容器的DNS。Consul代理和Consul服务器通信以获取集群的最新状态。   另一个容器是一个注册器代理,它可以基于已经发布的端口和定义在ECS任务定义中的容器环境变量元数据,为ECS任务或ECS服务自动注册/注销服务。它可以在没有任何用户定义的元数据的情况下注册服务,但可以让用户重写或者自己定制Consul服务的定义。更多关于注册器的内容,请参考 Github 项目

运行该示例应用

  要追随这个实例应用的内容,你需要保证你的AWS账号有以下内容:

  • 一个VPC,并支持DNS(DNS support处于enabled),而且至少有一个公共子网
  • 一个IAM用户,拥有登陆EC2实例和创建IAM策略/角色的权限
  • 一个EC2秘钥对,用户可以访问的私有密钥文件(.pem文件)

  同时,你应当有一个Docker Hub的账号和对应仓库(比如说仓库的名字叫“my_docker_hub_repo”。)

注意:确保在必要的文档内键入你定义的值(比如说,用你自己Docker Hub仓库名来代替“my_docker_hub_repo”)。

创建ECS集群

  1.首先到ECS控制台并选择创建集群(Create cluster)。为这个集群起一个独立的名字然后选择创建(Create)。

创建Consul服务器以及ECS实例

  你需要创建多个AWS资源来让这个示例应用运行起来。为了使这个过程更加简单,可以使用如下所述的CloudFormation脚本:

  • 为ECS和Consul服务器创建IAM role。
  • 创建必要的安全组,用于允许ECS节点和Consul服务器之间的通信,以及允许来自定义的CIDR IP段的SSH请求。
  • 登录到Consul服务器的EC2实例,安装Git和Docker,并且启动一个运行Consul服务器软件的Docker容器。
  • 使用针对ECS优化过的AMI,登录到ECS实例集群自动伸缩功能组(Auto Scaling Group)。
  • 启动一个Consul代理的Docker容器,并且连接到Consul服务器实例上。
  • 启动Consul注册器代理,以使用Consul服务发现目录,来自动注册在这台实例上运行的ECS任务和服务。Docker守护进程可以使用Consul代理和用于DNS查询的亚马逊DNS服务器。

  2.打开CloudFormation控制台,然后从提供的模板中启动一个新的CloudFormation堆。你需要输入一些参数,包括已存的EC2密钥对,VPC ID,子网ID,可用区,等等。

  请注意输入参数AmazonDnsIp必须是运行在一个保留IP地址上,在VPC网络范围”加2“内的DNS服务器。想了解更多关于VPC内亚马逊DNS服务器的内容,请看DHCP选项话题下的亚马逊DNS服务器章节。

构建Docker镜像

  3.通过SSH登录到Consul服务器公共DNS名。这就是之前步骤中CloudFormation脚本输出参数"ConsulServer"的值。

  4.下载这三个微服务的源码。 你会看到三个目录,它们包含将要构建的三个Docker容器的基本信息。

  5.登陆到Docker Hub:

$ sudo docker login

  6.在每个子目录中构建Docker容器,用你自己的仓库名代替my_docker_hub_repo:

$ cd weather
$ sudo docker build -t my_docker_hub_repo/weather .
$ cd ../stock-price
$ sudo docker build -t my_docker_hub_repo/stock-price .
$ cd ../portal
$ sudo docker build -t my_docker_hub_repo/portal .

  7.把这些镜像都Push到你的Docker Hub仓库,用你自己的仓库名代替my_docker_hub_repo:

$ sudo docker push my_docker_hub_repo/weather
$ sudo docker push my_docker_hub_repo/stock-price
$ sudo docker push my_docker_hub_repo/portal

  当Docker镜像正在构建和正在被push到Docker Hub的时候,你可以查看每个目录下的Dockerfile,了解这些具体发生什么。下面就是一些需要注意的事情:

  • 每个容器都被部署为一个Ruby Sinatra服务。
  • “天气”服务的容器应用被定义在weather.rb这个ruby文件中。它使用一个HTTP GET请求来获取城市名,通过一个开放的天气地图服务的HTTP API调用来获取指定城市的温度,并且将其作为一个JSON对象返回。
  • “股票价格”服务的容器应用被定义在stocks.rb这个ruby文件中。它使用一个HTTP GET请求来获取股票代码,通过对Yahoo Finance服务的HTTP API调用来获取公司名称以及指定代码的股票价格,并且将其作为一个JSON对象返回。
  • “门户”服务的容器应用被定义在portal.rb这个ruby文件中。它包含一个定义在public/index.html中的网页,它有两个部分,分别用于展示股票价格和城市温度。在表单中输入股票代码,这个应用就会使用Consul服务发现框架通过DNS查询来查找“股票价格”服务,以获取一个SRV记录。Consul代理就会返回对应的IP地址和端口号,然后”门户”服务的应用就会调用这个服务来获取公司名和股票价格,并且在页面中展示这些结果。“天气”服务也会经历类似的过程,根据用户输入的城市名,“门户”服务的应用会通过DNS查找天气服务的IP地址和端口,并且通过一次API调用来获取这个城市的温度。

  如下所示是一段在这个门户组件中用于服务发现的Ruby函数的代码片段。这个函数传入了一个服务名,发送了一个DNS查询(使用该服务名查找一个SRV记录),并且返回运行这个服务的IP地址和端口号。

def lookup_service(service_name)
  resolver = Resolv::DNS.open
  record = resolver.getresource(service_name, Resolv::DNS::Resource::IN::SRV)
  return resolver.getaddress(record.target), record.port
end

  所有的服务都作为ECS的服务部署,并且会通过运行在每个ECS实例上的注册器代理,自动地被注册到Consul服务器上。

创建任务定义

  现在你需要创建ECS任务定义,来启动之前在你的ECS集群中构建的容器。打开ECS控制台中的任务定义菜单。

  8.创建股票价格的ECS任务定义。你可以使用如下的模板,用你自己的仓库名代替my_docker_hub_repo。

{
    "family": "stock-price",
    "containerDefinitions": [
        {
            "environment": [
                {
                    "name": "SERVICE_4567_NAME",
                    "value": "stock-price"
                },
                {
                    "name": "SERVICE_4567_CHECK_HTTP",
                    "value": "/health"
                },
                {
                    "name": "SERVICE_4567_CHECK_INTERVAL",
                    "value": "10s"
                },
                {
                    "name": "SERVICE_TAGS",
                    "value": "http"
                }
            ],
            "name": "stock-price",
            "image": "my_docker_hub_repo/stock-price",
            "cpu": 100,
            "memory": 200,
            "portMappings": [
                {
                    "containerPort": 4567
                }
            ],
            "essential": true
        }
    ]
}

  它添加了一些元数据,注册器代理通过ECS任务定义中的环境变量,使用Consul和这些数据来定制化这样的服务定义,包括:

  • 设置Consul服务器内的服务名为“stock-price”
  • 添加健康检查,通过每10秒钟调用一次“/health” URL
  • 添加一个值为"http"的服务标签(service tag)

  注意,你并不是在定义主机端口映射。Docker会自动地分配主机上的一个端口,这样这个端口号就可以通过Consul的服务发现来被别人发现。你也可以在单个ECS实例上运行多个同种类型的任务或者服务。

  9.创建“天气”服务的ECS任务定义。你可以使用如下的模板,用你自己的仓库名代替my_docker_hub_repo。

{
    "family": "weather",
    "containerDefinitions": [
        {
            "environment": [
                {
                    "name": "SERVICE_4567_NAME",
                    "value": "weather"
                },
                {
                    "name": "SERVICE_4567_CHECK_HTTP",
                    "value": "/health"
                },
                {
                    "name": "SERVICE_4567_CHECK_INTERVAL",
                    "value": "10s"
                },
                {
                    "name": "SERVICE_TAGS",
                    "value": "http"
                }
            ],
            "name": "weather",
            "image": "my_docker_hub_repo/weather",
            "cpu": 100,
            "memory": 200,
            "portMappings": [
                {
                    "containerPort": 4567
                }
            ],
            "essential": true
        }
    ]
}

  它添加了一些元数据,注册器代理通过ECS任务定义中的环境变量,使用Consul和这些数据来定制化这样的服务定义,包括:

  • 设置Consul服务器内的服务名为“weather”
  • 添加健康检查,通过每10秒钟调用一次“/health” URL
  • 添加一个值为"http"的服务标签(service tag)

  10.创建“门户”服务的ECS任务定义。你可以使用如下的模板,用你自己的仓库名代替my_docker_hub_repo。

{
    "family": "portal",
    "containerDefinitions": [
        {
            "name": "portal",
            "image": "my_docker_hub_repo/portal",
            "cpu": 100,
            "memory": 200,
            "portMappings": [
                {
                    "containerPort": 4567,
                    "hostPort": 80
                }
            ],
            "essential": true
        }
    ]
}

创建ECS服务

  11.在ECS控制台的 Service 中,选择 Create 。选择第7步中的任务定义,命名这个服务,并且设置任务的数字为1。选择 Create service

  12.重复第11步,创建第8步和第9步中的任务,以启动“股票价格”和"门户"服务。

  13.这些服务将会立刻开始运行。你可以点击服务的 Tasks 栏内的刷新图标。在“门户”服务的状态变成“Running”之后,选择该任务并扩展"门户"服务容器。这个“门户”服务的容器实例IP就是 External link 域内 Network binding 下的超链接。打开“门户”服务的URL。

  14.你可以在文字输入框内输入股票代码,然后“门户”服务就会查找“股票价格”服务,并且获取最新股票价格和公司名。你也可以在页面的天气板块输入一个城市名,它就会查找“天气”服务获取最新的摄氏度温度。

结论

  如果你遵循了上面的所有步骤,你应该有三个运行在ECS集群上的容器了。一个用于"天气"服务,返回一个城市的温度。另一个用于"股票价格"服务,返回股票价格和指定股票代码所对应的公司名。最后一个容器用于“门户”服务应用,提供一个用户端的网页,可以通过部署在ECS实例上的Consul代理查询天气和股票价格。   查看这些容器的源代码,重复这些步骤,用这样的服务发现功能来构建你自己的微服务架构吧!