golang如何实现抓取IP地址的蜘蛛程序详解

2018-09-24 21:27

阅读:442

  背景

  要做IP地址归属地查询,量比较大,所以想先从网上找到大部分的分配数据,写个蜘蛛程序来抓取入库,以后在程序的运行中不断进行维护、更新、完善。

  一些关键点

   goroutine的使用,让程序并行运行。 正则表达式分组信息提取的使用,正确的提取我们关注的信息。 数据库批量插入操作。 数据库批量更新操作。

  代码解析

  按功能模块对核心代码进行说明

  ip.go

  主进程,实现goroutine的调用。

   func main() { //利用go基本库封装的网页抓取函数,后面有说明 ctx := common.HttpGet(正则表达式,有两个分组(两组小括号),分别取城市信息与url,具体分析代码后面有说明 reg := regexp.MustCompile(`<li><a title=[\S]+ href=([^]+?)>([^<]+?)</a></li>`) //取得页面上所有的城市及相应url ips := reg.FindAllStringSubmatch(string(ctx), -1) ch := make(chan string) //建立无缓冲字符串通道 for _, el := range ips { //一个协程处理一个具体页面 go ipSpider.SpiderOnPage(el[1], el[2], ch) } for range ips { //阻塞等待所有抓取工作全部完成 fmt.Println(<-ch) } }

  正则表达式说明

  主进程针对所有省有入口页面,取得每省的入口分配给一个协程去处理,每一个入口是这个样子

   <a title=北京最新IP地址段 href=北京</a> 请注意,这里面变化只有三个部分(title内容,href内容,链接显示内容),其中两个部分是我们需要的 title内容对应正则为 [\S]+ ,非空白符 href内容对应的正则为 ([^]+?) ,第一次遇到单引号结束,问号表示非贪婪匹配,括号是分组,能方便取出所匹配信息 链接显示内容对应的正则为 ([^<]+?) , 第一次遇到<时结束,第二个分组 FindAllStringSubmatch函数可以取出所有子分组,子分组从下标1开始,0为正则整体匹配的字符串

  goroutine 流程

   建立一个无缓冲字符串通道,作为所有协程与主进程通信通道 循环正则匹配结果,为每一个省的页面分配一个协程 协程获取数据成功并批量写数据库,返回成功信息到通道 协程处理失败,反回失败信息到通道 主进程阻塞等所有协程成功或失败返回,并打印成功或失败信息

  获取ip地址信息

  与主进程类似,注意无信息时处理。

  IpSpider.go

   //获取页面数据 ctx := common.HttpGet(url) //reg := regexp.MustCompile(`<li><a title=[\S]+ href=([^]+?)>([^<]+?)</a></li>`) //两个分组分别对应IP段开始与结束 reg := regexp.MustCompile(`<dd><span class=v_l>([^<]+?)</span><span class=v_r>([^<]+?)</span><div class=clearfix></div></dd>`) //<dd><span class=v_l>49.64.0.0</span><span class=v_r>49.95.255.255</span><div class=clearfix></div></dd> //取得所有匹配的分组信息 ip := reg.FindAllStringSubmatch(string(ctx), -1) //没有取得任何信息,提前返回,很重要,不然主进程会一直等待结束不了 if len(ip) == 0 { ch <- There are no data exist. return nil }

  数据库表结构生成语句

   CREATE TABLE `ip_addr_info` ( `id` int(11) NOT NULL AUTO_INCREMENT COMMENT 索引,自动增长, `ip_addr_begin` varchar(32) NOT NULL DEFAULT COMMENT ip地址段开始, `ip_addr_end` varchar(32) DEFAULT COMMENT ip地址段结束, `province` varchar(32) DEFAULT COMMENT 所属省, `ip_comp` varchar(32) DEFAULT COMMENT 运营商, PRIMARY KEY (`id`), UNIQUE KEY `ip_addr` (`ip_addr_begin`,`ip_addr_end`) ) ENGINE=InnoDB AUTO_INCREMENT=7268 DEFAULT CHARSET=utf8 COMMENT=表;

  批量写入数据库

  循环处理抓取数据,生成批量写入语句及输入参数,请签到出到afc9ebd版本。

   var vs [] interface{} //存储输入参数的接口数组 var vss string //待拼接的输入参数占位符字符串 for _, el := range ip { //处理所有的数据 vs = append(vs, el[1], el[2], province) //每一列包括开始地址、结束地址与省份 vss += (?,?,?), //占位符 } vss = vss[0:len(vss) -1] //去掉最后的逗号 var configs interface{} //从配置文件取数据库信息 fr, err := os.Open(./configs.json) //配置文件内容请参照上篇文章《golang实现mysql数据库备份》 if err != nil { ch <- err.Error() return err } decoder := json.NewDecoder(fr) err = decoder.Decode(&configs) confs := configs.(map[string]interface{}) dialect := confs[database_dialect].(string) dbConf := confs[db_+dialect+_config].(map[string]interface{}) dbHost := dbConf[db_host].(string) dbPort := strconv.FormatFloat(dbConf[db_port].(float64), f, -1, 32) dbUser := dbConf[db_user].(string) dbPass := dbConf[db_pass].(string) dbName := dbConf[db_name].(string) dbCharset := dbConf[db_charset].(string) dao, err := mysql.Open(dialect, dbUser + :+dbPass+@tcp(+dbHost+:+dbPort+)/+dbName+?charset=+dbCharset) defer dao.Close() if err != nil { ch <- err.Error() return err } //批量插入语句拼接 sqlstr := insert into ip_addr_info (ip_addr_begin,ip_addr_end,province) values + vss stmt, err := dao.Prepare(sqlstr) //预处理带参数的sql语句 rs, err := stmt.Exec(vs...) //带参数执行sql语句 if err != nil { //出错,返回错误信息 ch <- err.Error() return err }else { //成功,返回成功信息 affect, _ := rs.RowsAffected() ch <- Province: + province + , affect: + strconv.FormatInt(affect, 10) return nil }

  批量修改数据库

  数据库中的ip_comp字段,是代表运营商信息,需要从运营商页面进入进行数据获取,只需改一下入口url重新运行程序就能正确抓取,但这时入库就不是新增了,而是更新,请签出到4729e66版本。

   //前提数据库表定义要设定唯一索引,主键或其它定义的unique索引 ... sqlstr := insert into ip_addr_info (ip_addr_begin,ip_addr_end,ip_comp) values + vss + //提供更新(唯一索引冲突时)时要对应原字段与值 ON DUPLICATE KEY UPDATE ip_addr_begin = values(ip_addr_begin), ip_addr_end = values(ip_addr_end), ip_comp = values(ip_comp) stmt, err := dao.Prepare(sqlstr) rs, err := stmt.Exec(vs...) if err != nil { ch <- err.Error() return err }else { affect, _ := rs.RowsAffected() ch <- Province: + province + , affect: + strconv.FormatInt(affect, 10) return nil }

  待改进的方面

  把入口url提到配置中,使用策略模式,让匹配规则抽象成策略,目标是不改程序,调整配置文件就可以抓取不同的网页。

  项目地址

  

  使用方法

   git clone

  小结

  熟悉了golang语言,了解了一种全新的并发编程模式,熟悉了具体的数据库操作方法,给自己生成了一个方便的工具。

  总结

  以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对脚本之家的支持。


评论


亲,登录后才可以留言!