服务器端Go程序对长短链接的处理及运行参数的保存
2018-09-24 21:23
对长、短连接的处理策略(模拟心跳)
作为一个可能会和很多Client进行通讯交互的Server,首先要保证的就是整个Server运行状态的稳定性,因此在和Client建立连接通讯的时候,确保连接的及时断开非常重要,否则一旦和多个客户端建立不关闭的长连接,对于服务器资源的占用是很可怕的。因此,我们需要针对可能出现的短连接和长连接,设定不同的限制策略。
针对短连接,我们可以使用golang中的net包自带的timeout函数,一共有三个,分别是:
复制代码 代码如下:
func (*IPConn) SetDeadline
func (c *IPConn) SetDeadline(t time.Time) error
func (*IPConn) SetReadDeadline
func (c *IPConn) SetReadDeadline(t time.Time) error
func (*IPConn) SetWriteDeadline
func (c *IPConn) SetWriteDeadline(t time.Time) error
如果想要给服务器设置短连接的timeout,我们就可以这么写:
复制代码 代码如下:
netListen, err := net.Listen(tcp, Port)
Log(Waiting for clients)
for {
conn, err := netListen.Accept()
if err != nil {
continue
}
conn.SetReadDeadline(time.Now().Add(time.Duration(10) * time.Second))
这里的三个函数都是用于设置每次socket连接能够维持的最长时间,一旦超过设置的timeout后,便会在Server端自动断开连接。其中SetReadline, SetWriteline设置的是读取和写入的最长持续时间,而SetDeadline则同时包含了 SetReadline, SetWriteline两个函数。
通过这样设定,每个和Server通讯的Client连接时长最长也不会超过10s了~~
搞定短连接后,接下来就是针对长连接的处理策略了~~
作为长连接,由于我们往往很难确定什么时候会中断连接,因此并不能像处理短连接那样简单粗暴的设定一个timeout就可以搞定,而在Golang的net包中,并没有针对长连接的函数,因此需要我们自己设计并实现针对长连接的处理策略啦~
针对socke长连接,常见的做法是在Server和Socket之间设计通讯机制,当两者之间没有信息交互时,双方便会定时发送数据包(心跳),以维持连接状态。
这种方法是目前使用相对比较多的做法,但是开销相对也较大,特别是当Server和多个client保持长连接的时候,并发会比较高,考虑到公司的业务需求,我最后选择了逻辑相对简单,开销相对较小的策略:
当Server每次收到Client发到的信息之后,便会开始心跳计时,如果在心跳计时结束之前没有再次收到Client发来的信息,那么便会断开跟Client的连接。而一旦在设定时间内再次收到Client发来的信息,那么Server便会重置计时器,再次重新进行心跳计时,直到超时断开连接为止。
下面就是实现该计时的代码:
复制代码 代码如下:
//长连接入口
buffer := make([]byte, 2048)
for {
n, err := conn.Read(buffer)
if err != nil {
LogErr(conn.RemoteAddr().String(), connection error: , err)
return
}
Data :=(buffer[:n])
messnager := make(chan byte)
postda :=make(chan byte)
//心跳计时
go HeartBeating(conn,messnager,timeout)
//检测每次Client是否有数据传来
go GravelChannel(Data,messnager)
Log( receive data length:,n)
Log(conn.RemoteAddr().String(), receive data string:, string(Data
}
}
//心跳计时,根据GravelChannel判断Client是否在设定时间内发来信息
func HeartBeating(conn net.Conn, readerChannel chan byte,timeout int) {
select {
case fk := <-readerChannel:
Log(conn.RemoteAddr().String(), receive data string:, string(fk))
conn.SetDeadline(time.Now().Add(time.Duration(timeout) * time.Second))
//conn.SetReadDeadline(time.Now().Add(time.Duration(5) * time.Second))
break
case <-time.After(time.Second*5):
Log(Its really weird to get Nothing!!!)
conn.Close()
}
}
func GravelChannel(n []byte,mess chan byte){
for _ , v := range n{
mess <- v
}
close(mess)
}
log.Println(v...)
}
这样,就可以成功实现对于长连接的处理了~~,我们可以这么进行测试:
func sender(conn net.Conn) {
for i := 0; i <5; i++ {
words:= strconv.Itoa(i)+This is a test for long conn
conn.Write([]byte(words))
time.Sleep(2*time.Second)
}
fmt.Println(send over)
}
可以发现,Sender函数中time.Sleep阻塞的时间设定的比Server中的timeout短的时候,Client端的信息可以自由的发送到循环结束,而当我们设定Sender函数的阻塞时间较长时,就只能发出第一次循环的信息。
将运行参数放入配置文件(XML/YAML)
为了将我们写好的Server发布到服务器上,就要将我们的代码进行build打包,这样如果以后想要修改一些代码的话,需要重新给代码进行编译打包并上传到服务器上。
显然,这么做过于繁琐。。。因此常见的做法都是将Server运行中可能会频繁变更的变量、数值写入配置文件中,这样直接让程序从配置文件读取参数,避免对代码频繁的操作。
关于配置文件的格式,在这里推荐YAML 和XML~ XML是传统的配置文件写法,不过本人比较推荐yaml,他比XML要更加人性化,也更好写,关于yaml的详细信息可以参考:yaml官网
比如我们可以将Server监听的端口作为变量,写入配置文件 config.yaml 和 config.xml,放入代码的根目录下,这样当我们想要更换服务器端口的时候,只要在配置文件中修改port对应的值就可以拉。 config.xml内容如下:
<?xml version=1.0 encoding=UTF-8?> <Config1>GetConfig</Config1> <Config2>THE</Config2> <Config3>Information</Config3> <Feature1>HereIsTEST1</Feature1> <Feature2>1024</Feature2> <Feature3>Feature23333</Feature3>
config.yaml内容如下:
Address: 172.168.0.1 Config1: Easy Config2: Feature1: 2 Feature2: [3, 4] Port: :6060 Config4: IS Config5: ATest
接下来就是解析他们了,目前golang官方还没有解析yaml的库,因此我推荐使用第三方的go-yaml包,
地址如下: go-yaml ,go get安装该包后,我们就可以通过他解析文件啦:
复制代码 代码如下:
//解析文件,取出所有参数
func GetYamlConfig() map[interface{}]interface{}{
data, err := ioutil.ReadFile(config.yaml)
//将解析出的参数转为map的形式
m := make(map[interface{}]interface{})
if err != nil {
LogErr(error: %v, err)
}
err = yaml.Unmarshal([]byte(data), &m)
return m
}
//根据需求取出对应值
func GetElement(key string,themap map[interface{}]interface{})string {
if value,ok:=themap[key];ok {
return value.(string)
}
LogErr(Cant find the *.yaml)
return
}
这里同样给出解析xml配置文件的代码:
复制代码 代码如下:
func GetXMLConfig() map[string]string {
var t xml.Token
var err error
Keylst := make([]string,6)
Valuelst:=make([]string,6)
//将解析出的元素填入map中,便于查找
map1:=make(map[string]string)
content, err := ioutil.ReadFile(config.xml)
CheckError(err)
decoder := xml.NewDecoder(bytes.NewBuffer(content))
i:=0
j:=0
for t, err = decoder.Token(); err == nil; t, err = decoder.Token() {
switch token := t.(type) {
// 处理元素
case xml.StartElement:
Keylst[i]=string(name)
i=i+1
case xml.CharData:
content1 := string([]byte(token))
//Valuelst=append(Valuelst,content1)
Valuelst[j]=content1
j=j+1
}
}
for count:=0;count<len(Keylst);count++{
map1[Keylst[count]]=Valuelst[count]
}
return map1
}
//取出map的函数跟yaml中的差不多,此处略过
运行效果如下: