003 Python网络爬虫与信息提取 网络爬虫的'盗亦有道'
2021-03-17 03:25
标签：文件 抓取 问题： 玩转 无法 问题 request 根目录 http [A] 网络爬虫引发的问题 1. 当前网络爬虫根据规模可分为三种： 1. 小型规模，主要用于爬取网页，玩转网页，数据量小，并且对于爬取速度不敏感，这种爬虫可以直接通过Python提供的第三方库Requests即可实现 2. 中等规模，主要用于爬取网站，系列网站，数据量大，并且对于爬取速度有敏感性，如爬取网站上航班信息，对于这种爬虫，Python提供的Scrapy库即可满足 3. 大型规模，主要实现全网爬取，数据量特别大，比如百度搜索引擎，谷歌搜索引擎，这种规模的爬虫只能定制开发，第三方库无法满足 2. 网络爬虫引发的问题： 1. 骚扰问题 这是指网络爬虫访问服务器时，相比于人类更加高速和频繁，会增加服务器的负荷 2. 法律问题 这是指服务器上存储的数据是由产权归属的，用于牟利的网络爬虫存在法律风险 3. 隐私泄露问题 这是指网络爬虫具备突破简单访问限制的能力，获得被保护数据从而获得个人隐私内容 3. 目前存在对网络爬虫限制方法 1. 来源审查 通过判断 User-Agent 进行限制 即检查来访HTTP协议头的 User-Agent 域，只响应浏览器或者友好爬虫的访问 2. 发布公告 Robots协议 即告诉所有爬虫网站的爬虫策略，要求所有爬虫遵守。 [B] Robots协议 Robots协议全称是 Robots Exclusion Standard 网络爬虫排除标准 作用：网站告知网络爬虫哪些网页可以抓取，哪些不行 形式：在网站根目录下的 robots.txt 文件 003 Python网络爬虫与信息提取 网络爬虫的'盗亦有道' 标签：文件 抓取 问题： 玩转 无法 问题 request 根目录 http 原文地址：https://www.cnblogs.com/carreyBlog/p/13983843.html
文章标题：003 Python网络爬虫与信息提取 网络爬虫的'盗亦有道'
文章链接：http://soscw.com/index.php/essay/65128.html