Nginx知多少系列之(十四)Linux下.NET Core项目Nginx+Keepalived高可用（主从模式）

#进入Nginx配置文件目录
cd /etc/nginx/conf.d

#编辑配置文件
sudo vim upstream.conf

#按i进入编辑模式，输入下面的内容

upstream netCoreDemo  {
    server 192.168.157.130;
    server 192.168.157.131;
    server 192.168.157.132;
}

server {
    listen   80;
    location / {
      proxy_pass  http://netCoreDemo;
    }
}

#编辑好后，按Esc，再输入:wq保存退出

#重启nginx
sudo nginx -s reload

#安装keepalived
sudo yum install -y keepalived

#进入keepalived目录
cd /etc/keepalived

#备份配置文件
sudo cp keepalived.conf keepalived.conf.bak

#删除配置文件，里面的配置太长了，这里我们做简单配置，所以还是删了在创建新的比较方便哈
sudo rm -rf keepalived.conf

#创建新配置文件
sudo touch keepalived.conf

#编辑配置文件
sudo vim keepalived.conf

#按i进入编辑模式，复制下面的配置信息

! Configuration File for keepalived

global_defs {
   router_id LVS_DEVEL_01
}
vrrp_instance VI_1 {
    state MASTER
    interface ens33
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.157.100
    }
}

#按Esc，然后:wq保存退出

#进入keepalived目录
cd /etc/keepalived

#备份配置文件
sudo cp keepalived.conf keepalived.conf.bak

#删除配置文件，里面的配置太长了，这里我们做简单配置，所以还是删了在创建新的比较方便哈
sudo rm -rf keepalived.conf

#创建新配置文件
sudo touch keepalived.conf

#编辑配置文件
sudo vim keepalived.conf

#按i进入编辑模式，复制下面的配置信息

! Configuration File for keepalived

global_defs {
   router_id LVS_DEVEL_02
}
vrrp_instance VI_1 {
    state BACKUP
    interface ens33
    virtual_router_id 51
    priority 99
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.157.100
    }
}

#按Esc，然后:wq保存退出

! Configuration File for keepalived

global_defs {
   router_id LVS_DEVEL_01  #keepalived标识信息，自定义
}
vrrp_instance VI_1 {
    state MASTER  #指定实例初始状态，实际的MASTER和BACKUP是选举决定的
    interface ens33  #指定实例绑定的网卡
    virtual_router_id 51 设置VRID标记，多个集群不能重复(0..255)，同一组的或主从的必须保持一致
    priority 100  #设置优先级，优先级高的会被竞选为Master，MASTER和BACKUP的优先级要不一样
    advert_int 1  #检查的时间间隔，默认1s
    authentication {  #设置认证
        auth_type PASS  #认证方式，支持PASS和AH，官方建议使用PASS
        auth_pass 1111  #认证的密码
    }
    virtual_ipaddress {  #设置VIP，可以设置多个，用于切换时的地址绑定。
        192.168.157.100
    }
}

#查看网卡信息
ifconfig

#启动主服务器的Keepalived
sudo service keepalived start

#查看keepalived状态
service keepalived status

#查看日志文件
sudo less /var/log/messages

#less查看一个文件时，可以使用类似vi的command命令，在command模式下按G跳到文件末尾，再使用f或B来翻页

less filename
:G 跳到底部，就可以用 向上 向下 箭头 或 向滚动鼠标来查看log了

#查看IP信息
ip add

#重启Linux
sudo reboot

#查看防火墙状态
service firewalld status

#暂时性关闭防火墙，下次开机又会打开
sudo service firewalld stop

#永久性关闭防火墙
sudo systemctl disable firewalld

#开启服务器的keepalived
sudo service keepalived start

#开启组播地址
sudo firewall-cmd --direct --permanent --add-rule ipv4 filter INPUT 0 --in-interface ens33 --destination 224.0.0.18 --protocol vrrp -j ACCEPT

#刷新防火墙配置
sudo firewall-cmd --reload

#查看防火墙状态
service firewalld status

#开启keepalived
sudo service keepalived start

#查看keepalived的状态
service keepalived status
#查看ip信息
ip add

#主服务器直接关机

#在从服务器尝试PING 主服务器IP 192.168.157.150
ping 192.168.157.150

#查看IP信息
ip add

#查看日志文件
sudo less /var/log/messages

#less查看一个文件时，可以使用类似vi的command命令，在command模式下按G跳到文件末尾，再使用f或B来翻页

less filename
:G 跳到底部，就可以用 向上 向下 箭头 或 向滚动鼠标来查看log了

#停止keepalived服务
sudo service keepalived stop
#查看keepalived状态
service keepalived status

#停止Nginx
sudo nginx -s stop

#查看ip信息
ip add

#查看keepalived的进程
ps aux |grep keepalived

#进入keepalived.service目录
cd /usr/lib/systemd/system

#编辑keepalived.service
sudo vim keepalived.service

#按i进去编辑模式

#注释掉
KillMode=process

#按Esc，然后:wq保存退出

#重新加载配置
sudo systemctl daemon-reload

#开启主服务器的keepalived
sudo service keepalived start

#停止主服务器的keepalived服务
sudo service keepalived stop

#查看keepalived 状态
service keepalived status

#查看IP信息

#编辑keepalived配置文件
sudo vim /etc/sysconfig/keepalived

#按i 进入编辑模式

#把KEEPALIVED_OPTIONS="-D" 修改为KEEPALIVED_OPTIONS="-D -d -S 0"

KEEPALIVED_OPTIONS="-D -d -S 0"

#按Esc 然后:wq保存退出

#修改rsyslog文件
sudo vim /etc/rsyslog.conf

#按i 进入编辑模式

#在文件的最后添加下列的内容，local0这里记得前面不要有#，不然会注释，不起作用的

# keepalived -S 0 
local0.*                                                /var/log/keepalived.log

#按Esc 然后:wq保存退出

#重新启动日志
service rsyslog restart

#重启keepalived
sudo service keepalived restart

#查看日志
sudo tail -f  /var/log/keepalived.log

#停止主服务器的Nginx
sudo nginx -s stop

#进入keepalived目录
cd /etc/keepalived

#创建脚本文件
sudo vim nginx_health_check.sh

按i进入编辑模式，增加下来内容


#!/bin/bash

#日志输出，默认到/var/log/messages，这里需要更改为/var/log/keepalived.log
#vim /etc/rsyslog.conf
#添加下面内容
#local0.* /var/log/keepalived.log
#表示local0设备的日志信息记录于/var/log/keepalived.log里
#重启rsyslog服务
#service rsyslog restart
function log(){
    logger -i -t "nginx_check" -p local0.info "$1"
}


counter=$(ps -C nginx --no-heading|wc -l)
if [ "${counter}" = "0" ]; then
    /usr/sbin/nginx
    log "Find nginx stopped and then starting."
    sleep 3
    counter=$(ps -C nginx --no-heading|wc -l)
    if [ "${counter}" = "0" ]; then
        log "Nginx start failed."
        log "keepalived stopping."
        service keepalived stop
        log "keepalived stop success."
    else
        log "Nginx start success."
    fi
fi



#按Esc退出编辑，然后:wq退出保存

#查看nginx进程
ps aux |grep nginx

#停止nginx
sudo nginx -s stop

#查看nginx进程
ps aux |grep nginx

#单独执行脚本
sudo bash /etc/keepalived/nginx_health_check.sh

#查看nginx进程
ps aux |grep nginx

#编辑keepalived.con文件
sudo vim /etc/keepalived/keepalived.conf

#按i进入编辑模式，增加红色区的内容

! Configuration File for keepalived

global_defs {
   router_id LVS_DEVEL_01
}
vrrp_script chk_nginx {
    script "/etc/keepalived/nginx_health_check.sh"
    interval 5
    weight -20
}
vrrp_instance VI_1 {
    state MASTER
    interface ens33
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    track_script {
       chk_nginx
    }
    virtual_ipaddress {
        192.168.157.100
    }
}

#编辑好后，按Esc，然后:wq退出保存

#把nginx心跳检测脚本更改权限
sudo chmod 755 /etc/keepalived/nginx_health_check.sh

#临时关闭selinux，这个终端关闭了就失效咯
sudo setenforce 0

#查看selinux
getenforce
#查看selinux状态
sestatus

#永久关闭，编辑/etc/sysconfig/selinux
sudo vim /etc/sysconfig/selinux

#按i进入编辑模式，修改下面的内
SELINUX=disabled

#按Esc，然后:wq保存退出编辑

#安装setroubleshoot
sudo yum -y install setroubleshoot

#xshell开启新终端，监控messages日志
sudo tail -f /var/log/messages

#停止nginx服务
sudo nginx -s stop

#重启keepalived
service keepalived restart

#查看错误信息
sudo cat /var/log/messages |grep setroubleshoot

#执行sealert命令，这里只是个例子哈，具体看上面你们执行出来的结果
sudo sealert -l 03ad7984-32b7-4d51-82bf-e86bc462d38f

#安装依赖软件
sudo yum -y install policycoreutils-python

#返回主目录
cd

#增加nginx至selinux白名单，mynginx是自定义名字哈，记住一定要在开启nginx的时候执行，不然运行了没有效果  
sudo cat /var/log/audit/audit.log | grep nginx | grep denied | audit2allow -M my-nginx  

#这个是执行了上面命令后，提示你要执行的命令
sudo semodule -i my-nginx.pp

#增加keepalived至selinux白名单，记住一定要在开启keeaplived的时候执行，不然运行了没有效果  
sudo cat /var/log/audit/audit.log | grep keepalived | grep denied | audit2allow -M my-keepalived

#这个是执行了上面命令后，提示你要执行的命令
sudo semodule -i mykeepalived.pp

#删除刚刚创建的keepalived相关文件
sudo rm -rf my-keepalived*

#删除刚刚创建的nginx相关文件
sudo rm -rf my-nginx*

#用xshell开启两个终端，第一个用来监控主服务器日志文件的变化
sudo tail -f /var/log/keepalived.log

#第二个在主服务器做如下的操作

#重启keepalived
sudo service keepalived restart

#停止nginx
sudo nginx -s stop

#查看nginx 进程
ps aux |grep nginx

#隔几秒后再次查看nginx 进程
ps aux |grep nginx

#查看IP信息
ip add

#用xshell开启两个终端，第一个用来监控主服务器日志文件的变化
sudo tail -f /var/log/keepalived.log

#第二个在主服务器做如下的操作

#编辑nginx心跳检测脚本
sudo vim /etc/keepalived/nginx_health_check.sh

#按i 编辑

#注释启动nginx的命令
#/usr/sbin/nginx

#按Esc，然后:wq退出保存

#重启keepalived
sudo service keepalived restart

#停止nginx
sudo nginx -s stop

#查看nginx 进程
ps aux |grep nginx

#查看IP信息
ip add

#编辑keepalived配置
sudo vim /etc/keepalived/keepalived.conf

#按i进入编辑模式

#增加nopreempt以及修改state为BACKUP，标注红色的内容，如下

! Configuration File for keepalived

global_defs {
   router_id LVS_DEVEL_01
}
vrrp_script chk_nginx {
    script "/etc/keepalived/nginx_health_check.sh"
    interval 5
    weight -20
}
vrrp_instance VI_1 {
    state BACKUP
    interface ens33
    virtual_router_id 51
    priority 100
    advert_int 1
    nopreempt
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    track_script {
        chk_nginx
    }
    virtual_ipaddress {
        192.168.157.100
    }
}

#按Esc，然后:wq退出保存

#编辑keepalived配置
sudo vim /etc/keepalived/keepalived.conf

#按i进入编辑模式

#增加nopreempt，标注红色的内容，如下

! Configuration File for keepalived

global_defs {
   router_id LVS_DEVEL_02
}
vrrp_script chk_nginx {
    script "/etc/keepalived/nginx_health_check.sh"
    interval 5
    weight -20
}
vrrp_instance VI_1 {
    state BACKUP
    interface ens33
    virtual_router_id 51
    priority 99
    advert_int 1
    nopreempt
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    track_script {
        chk_nginx
    }
    virtual_ipaddress {
        192.168.157.100
    }
}


#按Esc，然后:wq退出保存

#重启主从服务器的keepalived
sudo service keepalived restart

#确保nginx都开启了
ps aux |grep nginx

#没有开启的话，开启nginx
sudo nginx

#查看两台服务器的ip信息，看看正常情况下，VIP在哪里
ip add

#停止有VIP服务器的keepalived
sudo service keepalived stop

#查看两台服务器的IP信息，看看VIP漂移到哪里了
ip add

#启动主服务器的keepalived
sudo service keepalived start

#查看两台服务器的IP信息，看看VIP漂移到哪里了
ip add

#启动keepalived
service keepalived start

#停止keepalived
service keepalived stop

#重启keepalived
service keepalived restart