JavaScript之数组去重
数组去重是我们工作以及面试中经常会碰到得一道编程题，说明它对于我们而言具有非常重要的意义，所以我们必须得掌握它，以下是我总结得一些常见数组去重的方法： 1.indexOf() 返回某个指定的字符串值在字符串中首次出现的位置来进行数组去重： 返回结果如下： 2. 先对数组进行排序，再通过对比相邻的两个 ... 查看全文
SpringBoot使用CORS解决跨域请求问题
什么是跨域？ 同源策略是浏览器的一个安全功能，不同源的客户端脚本在没有明确授权的情况下，不能读写对方资源。 同源策略是浏览器安全的基石。 如果一个请求地址里面的协议、域名和端口号都相同，就属于同源。 举个栗子 判断下面URL是否和 http://www.a.com/a/a.html 同源 http: ... 查看全文
Python yield 使用浅析
您可能听说过，带有 yield 的函数在 Python 中被称之为 generator（生成器），何谓 generator ？ 我们先抛开 generator，以一个常见的编程题目来展示 yield 的概念。 如何生成斐波那契數列 斐波那契（Fibonacci）數列是一个非常简单的递归数列，除第一个 ... 查看全文
python_异常处理
当python程序无法正常执行时，就会出现异常程序中断。为了避免程序的异常中断，我们一般会捕捉异常然后进行相应的操作。 python中为我们提供了try/except语句，用来捕捉异常并可以进行异常处理 异常处理的格式如下： 1 BaseException 所有异常的基类 2 SystemExit ... 查看全文
[Python3网络爬虫开发实战] 1.8.1-pyspider的安装
pyspider是国人binux编写的强大的网络爬虫框架，它带有强大的WebUI、脚本编辑器、任务监控器、项目管理器以及结果处理器，同时支持多种数据库后端、多种消息队列，另外还支持JavaScript渲染页面的爬取，使用起来非常方便，本节介绍一下它的安装过程。 1. 相关链接 官方文档：http:/ ... 查看全文
[Python3网络爬虫开发实战] 1.7.2-mitmproxy的安装
mitmproxy是一个支持HTTP和HTTPS的抓包程序，类似Fiddler、Charles的功能，只不过它通过控制台的形式操作。 此外，mitmproxy还有两个关联组件，一个是mitmdump，它是mitmproxy的命令行接口，利用它可以对接Python脚本，实现监听后的处理；另一个是mit ... 查看全文
[Python3网络爬虫开发实战] 1.8.3-Scrapy-Splash的安装
Scrapy-Splash是一个Scrapy中支持JavaScript渲染的工具，本节来介绍它的安装方式。 Scrapy-Splash的安装分为两部分。一个是Splash服务的安装，具体是通过Docker，安装之后，会启动一个Splash服务，我们可以通过它的接口来实现JavaScript页面的加载 ... 查看全文
[Python3网络爬虫开发实战] 1.3.1-lxml的安装
lxml是Python的一个解析库，支持HTML和XML的解析，支持XPath解析方式，而且解析效率非常高。本节中，我们了解一下lxml的安装方式，这主要从Windows、Linux和Mac三大平台来介绍。 1. 相关链接 官方网站：http://lxml.de GitHub：https://git ... 查看全文
[Python3网络爬虫开发实战] 1.6.2-Tornado的安装
Tornado是一个支持异步的Web框架，通过使用非阻塞I/O流，它可以支撑成千上万的开放连接，效率非常高，本节就来介绍一下它的安装方式。 1. 相关链接 GitHub：https://github.com/tornadoweb/tornado PyPI：https://pypi.python.or ... 查看全文
[Python3网络爬虫开发实战] 1.2.4-GeckoDriver的安装
上一节中，我们了解了ChromeDriver的配置方法，配置完成之后便可以用Selenium驱动Chrome浏览器来做相应网页的抓取。 那么对于Firefox来说，也可以使用同样的方式完成Selenium的对接，这时需要安装另一个驱动GeckoDriver。 本节中，我们来介绍一下GeckoDriv ... 查看全文
[Python3网络爬虫开发实战] 1.5.2-PyMongo的安装
在Python中，如果想要和MongoDB进行交互，就需要借助于PyMongo库，这里就来了解一下它的安装方法。 1. 相关链接 GitHub：https://github.com/mongodb/mongo-python-driver 官方文档：https://api.mongodb.com/py ... 查看全文
[Python3网络爬虫开发实战] 1.2.5-PhantomJS的安装
PhantomJS是一个无界面的、可脚本编程的WebKit浏览器引擎，它原生支持多种Web标准：DOM操作、CSS选择器、JSON、Canvas以及SVG。 Selenium支持PhantomJS，这样在运行的时候就不会再弹出一个浏览器了。而且PhantomJS的运行效率也很高，还支持各种参数配置， ... 查看全文
[Python3网络爬虫开发实战] 1.8.2-Scrapy的安装
Scrapy是一个十分强大的爬虫框架，依赖的库比较多，至少需要依赖的库有Twisted 14.0、lxml 3.4和pyOpenSSL 0.14。在不同的平台环境下，它所依赖的库也各不相同，所以在安装之前，最好确保把一些基本库安装好。本节就来介绍Scrapy在不同平台的安装方法。 1. 相关链接 官 ... 查看全文
[Python3网络爬虫开发实战] 1.6.1-Flask的安装
Flask是一个轻量级的Web服务程序，它简单、易用、灵活，这里主要用来做一些API服务。 1. 相关链接 GitHub：https://github.com/pallets/flask 官方文档：http://flask.pocoo.org 中文文档：http://docs.jinkan.org/ ... 查看全文
[Python3网络爬虫开发实战] 1.2.3-ChromeDriver的安装
前面我们成功安装好了Selenium库，但是它是一个自动化测试工具，需要浏览器来配合使用，本节中我们就介绍一下Chrome浏览器及ChromeDriver驱动的配置。 首先，下载Chrome浏览器，方法有很多，在此不再赘述。 随后安装ChromeDriver。因为只有安装ChromeDriver，才 ... 查看全文
[Python3网络爬虫开发实战] 1.3.2-Beautiful Soup的安装
Beautiful Soup是Python的一个HTML或XML的解析库，我们可以用它来方便地从网页中提取数据。它拥有强大的API和多样的解析方式，本节就来了解下它的安装方式。 1. 相关链接 官方文档：https://www.crummy.com/software/BeautifulSoup/bs ... 查看全文
[Python3网络爬虫开发实战] 1.4.3-Redis的安装
Redis是一个基于内存的高效的非关系型数据库，本节中我们来了解一下它在各个平台的安装过程。 1. 相关链接 官方网站：https://redis.io 官方文档：https://redis.io/documentation 中文官网：http://www.redis.cn GitHub：https ... 查看全文
sass和scss相关知识
参考地址：http://www.imooc.com/learn/311 什么是css预处理器？ CSS 预处理器定义了一种新的语言，其基本思想是，用一种专门的编程语言，为 CSS 增加了一些编程的特性，将 CSS 作为目标生成文件，然后开发者就只要使用这种语言进行编码工作。 通俗的说，“CSS 预处 ... 查看全文
企业为什么需要定制自己的App？
App软件能时刻伴随在客户身边。在线app 开发公司http://www.apicloud.com/ app定制平台 http://app.apicloud.com/5、企业借助企业App定制开发减小其服务成本传统销售渠道主要集中在线下门店和网上商城，然而App软件可以迅速帮助客户实现在线服务的完成，比如招商银行的App客户端，帮助客户完成信用卡申请、账 查看全文
org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: file:/input
原我是这样写的 //输入数据所在的文件目录 FileInputFormat.addInputPath(job, new Path("/input/")); //mapreduce执行后输出数据目录 FileOutputFormat.setOutputPath(job, new Path("/outp ... 查看全文