先简单介绍下用到的产品，Etcd是一个分部式KV存储系统，confd是一个对Etcd key或目录做变化监控的工具，并配有相关语法，可以将变化的KV处理后形成配置文件，假设后端服务用的是Docker，Nginx就是对Docker做7层负载和流量调度的。
再看业务逻辑，Docker容器起来后，会通过接口（rest api或者rpc）向Etcd注册相关KV信息，confd检测到Etcd的KV变化后，立即触发程序通过模板形成新的Nginx配置文件，先做离线语法测试，如果没问题就覆盖原配置，进而reload，测试不通过不覆盖原配置，整个过程安全可控。在容器注册到Nginx的upstream后，Nginx会对容器做健康检查，如果正常，则分发流量过去。对应的业务流程图如下：
根据业务情况，目前要考虑的问题有5个：
1、Nginx多域名多server的混合注册，使Nginx可以混合调度多个业务；
2、不同机房如何在同一Etcd集群上进行注册，如何规划；
3、confd更新频率如何周期可控制，KV每有变化实时触发reload太敏感，况且每个容器要注册多个KV，在整体注册完之前，是不需要reload的；
4、confd启动时如何关联多个Etcd的地址，保证高可用；
5、权限问题如何处理，怎么做，如果任何人知道ip和端口就可以注册，那么服务就垮了。
1
Nginx如何实现多域名多server的混合注册
先分析下Nginx做负载均衡时的配置文件，分析后发现能决定不同的注册服务的3个关键元素：
- server_name的域名
- upstream的名称
- upstream里的server，
有了这个思路后，设计confd对应的Nginx的模板文件（confd是可以直接下载二进制包，不存在安装问题，配置好path后直接使用，在使用中默认读取/etc/confd下的conf.d和templates下两个目录的配置，对应github：https://github.com/coreos/etcd ），具体是操作步骤如下：
1、创建confd使用的目录
$mkdir -p /etc/confd/{conf.d,templates}2、在conf.d下创建.toml配置文件，在templates下创建.tmpl模板文件（后面介绍，想看步骤3注册效果）
3、根据Nginx的3个元素去分析规划KV规则，优化后发现注册一个服务要添加两个健值，并用etcdctl命令进行模拟测试，注册第一个服务如下：
$etcdctl set /service_sgin/subdomain/service1 "www.service1.com"
$etcdctl set /service_sgin/upstream/service1/server1 192.168.1.1其中service1是对应业务名称，”www.service1.com”是域名，192.168.1.1对应是server，先看下注册后的结果：
然后再继续注册第二个服务，对应命令如下：
$etcdctl set /service_sgin/subdomain/service2 "www.service2.com page.service2.com"$etcdctl set /service_sgin/upstream/service2/server1 192.168.1.2注册后配置文件截图如下：
达到了混合注册的效果，另外加了一个默认的server，当过来没有符合业务的域名，直接302到小米的主页http://www.mi.com，好了剖开看confd的两个概要配置编码如下：
$vim /etc/confd/conf.d/nginx.conf.toml
[template]
prefix = "/service_sgin" #此配置对应Etcd的默认目录
src = "nginx.conf.tmpl" #对应templates下的模板文件
dest = '/usr/local/nginx/conf/nginx.conf' #对应nginx的配置文件
owner = "root"
mode = "0666"
keys = [ "/upstream", #监控的键值目录 "/subdomain", #监控的键值目录
]
check_cmd = "/usr/local/nginx/sbin/nginx -t -c {{.src}}" #检测到变化后的测试
reload_cmd = "/usr/local/nginx/sbin/nginx -s reload" #配置文件没问题后的reload$vim /etc/confd/templates/nginx.conf.tmpl
user root;
worker_processes auto;
worker_cpu_affinity auto;
pid logs/nginx.pid;
#error_log logs/error.log;
#error_log logs/error.log notice;
#error_log logs/error.log info;
#error_log_bind 192.168.1.31;
worker_rlimit_nofile 512000;
events {
use epoll;
worker_connections 20480;
}
http {
include mime.types;
default_type application/octet-stream;
resolver 127.0.0.1 valid=10m;
sendfile on;
keepalive_timeout 65s;
proxy_next_upstream error timeout;
proxy_buffering on;
proxy_buffer_size 8k;
proxy_buffers 32 4k;
######################对应upstream的模板部分################
{{range $sub := ls "/subdomain"}}
upstream {{base $sub}} {
{{$subdir := printf "/upstream/%s/*" $sub}}{{range getvs $subdir}}
server {{.}}; {{end}}
keepalive_timeout 65s;
}
{{end}}
#############################################################
server {
listen 80 backlog=65535 default;
server_name localhost;
location / {
rewrite ^/(.*)$ http://www.sina.cn redirect;
}
}
#####################对应server的模板部分####################
{{range gets "/subdomain/*"}}
server {
listen 80;
server_name {{.Value}};
location / {
proxy_pass http://{{base .Key}};
proxy_redirect off;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}
}
{{end}}
}2
不同机房如何在同一Etcd集群上进行注册
这个看起来复杂，实施起来并不复杂简单，为了合理利用资源和便于管理，不可能每个机房都对应建Etcd集群，这个时候几个邻近机房可以复用Etcd集群，比如c3和c4机房的注册，可以使用改变默认Etcd键值目录来实现：
prefix = "/service_sgin_c3" prefix = "/service_sgin_c4"3
confd更新频率如何周期可控制上进行注册
KV每有变化实时触发reload太敏感，况且每个容器要注册多个KV，在整体注册完之前，是不需要reload的，即使后面可以用事务实现，不过confd本身也可以做一些调整，调整confd不要用watch模式，改而周期性去探测Etcd的键值变化，比如说2秒探测一次，这样处理相对是比较友好的，对应启动的命令如下：
./confd -backend="etcd" -node=10.211.103.151:2379 -interval=24
confd启动时如何容灾多个Etcd节点
同样，只要修改下confd的启动命令即可，让confd监控更多node（当然生产化境也可以用比如四层vip等其它方案实现），目前测试环境有3个node，全部监控进去如下：
./confd -backend="etcd" -node=10.211.103.151:2379 -node=10.211.103.152:2379 -node=10.211.103.153:2379 -interval=25
权限问题的处理
对于权限有两种方式，一个是证书，一个是账号。一般生产环境直接用证书即可，不过还是介绍一下Etcd的账号管理，Etcd的权限设计主要通过用户、规则来控制，将用户和规则对应起来就是用户的权限，默认安装后是不开启权限的，整理后相关的权限操作如下：
用户管理：
etcdctl user add root:123 #加root用户，开启权限必须先加
etcdctl auth enable #权限管理开启
etcdctl --username root:123 user list #查看用户
etcdctl --username root:123 user remove test_user #删除用户role规则管理：
etcdctl --username root:123 role add test_role
etcdctl --username root:123 role grant --path "/*" --rw test_role #加权限
etcdctl --username root:123 role revoke --path "/*" --write test_role #减权限
etcdctl --username root:123 role remove test_role
etcdctl --username root:123 role list
etcdctl --username root:123 role get test_role用户规则管理：
etcdctl --username root:123 user add test_user:123
etcdctl --username root:123 user grant --roles test_role test_user #加规则
etcdctl --username root:123 user revoke --roles test_role test_user #减规则
etcdctl --username root:123 user get test_user #查看某个用户下的规则备注：
1、guest用户的规则是guest，默认是全部权限。
2、confd是以访客guest身份监控KV的，对应的规则就是guest。