#!/usr/bin/Python
# -*- coding: utf-8 -*-
from bs4 import BeautifulSoup
import requests.exceptions
from URLlib.parse import urlsplit
from collections import deque
import re
# 一个需要爬行的url队列
new_urls = deque(['https://www.baidu.com/'])
# 一组我们已经爬过的url
processed_urls = set()
emails = set()
# 一个一个地处理url,直到我们耗尽队列
while len(new_urls):
# 将下一个url从队列移动到处理的url集合
url = new_urls.popleft()
processed_urls.add(url)
# 提取基本url以解析相对链接
parts = urlsplit(url)
base_url = "{0.scheme}://{0.netloc}".format(parts)
path = url[:url.rfind('/') 1] if '/' in parts.path else url
# 获取url的内容
print("Processing %s" % url)
try:
response = requests.get(url)
except (requests.exceptions.MissingSchema, requests.exceptions.ConnectionError):
# 忽略页面错误
continue
# 提取所有电子邮件地址并将它们添加到结果集
new_emails = set(re.findall(r"[a-z0-9\.\- _] @[a-z0-9\.\- _] \.[a-z] ", response.text, re.I))
emails.update(new_emails)
# 为html文档创建一个beutiful汤
soup = BeautifulSoup(response.text)
#查找并处理文档中的所有锚
for anchor in soup.find_all("a"):
# 从锚中提取链接url
link = anchor.attrs["href"] if "href" in anchor.attrs else ''
# 解决相对链接
if link.startswith('/'):
link = base_url link
elif not link.startswith('http'):
link = path link
# 如果没有队列或处理,将新url添加到队列中
if not link in new_urls and not link in processed_urls:
new_urls.append(link)
来源:搜素材网素材
搜素材网所有素材均为本站用户上传,仅供学习与参考,请勿用于商业用途,如有侵犯您的版权请联系客服服务QQ
本站提供各类html5响应式模板,前端js素材,网站模板,后台模板素材,程序源码素材。
由于技术有限本站不提供安装服务与bug修复,各类源码只提供分享服务,感谢您的理解。
如果对本站有任何意见请点击右侧侧边栏的反馈意见,我们会及时处理。