《C# 爬虫 破境之道》：概述

标签：数据采集   经理   知识   它的   思路   name   问题   等等   要求   

第一节：写作本书的目的

　　关于笔者

　　张晓亭（Mike Cheers），1982年出生，内蒙古辽阔的大草原是我的故乡。

　　没有高学历，没有侃侃而谈的高谈阔论，拥有的就是那一份对技术的执著，对自我价值的追求。

　　我是谁，其实并不重要，我是高级开发、我是架构师、我是技术经理，这些都是我，跟各位没有半毛钱关系。最重要的是，我能给读者带来什么。接下来的日子里，就看看本书能给各位带来什么惊喜，也许到最后，你都不会记得我的名字，没有关系，相信我，那并不重要。

　　关于本书

　　本书是《破境之道》系列技术丛书中的一部分，将针对使用C#开发数据采集器（俗称爬虫）进行系统全面的讲解，写作意图就是希望能够通过本书使读者能够深入掌握有关爬虫的方方面面。所谓“破境”，源自修行者在修行之路上对境界的突破。这里也深含着笔者对读者的一份殷切期望，希望能够帮助读者在技术修行的道路上，达到“武道巅峰”。

　　本系列丛书又名《看完丢掉》。知识、技术逐渐变成快销品，虽然笔者也不愿意这样，但回头看看，当初步入修行队伍时，使用的ASP、VBScript等等，也早已淡出人们的视线，相信所剩无几了吧。时代在发展，科技在进步，大多数从业者也都习惯了每日甚至是没日没夜的追随新的前沿技术潮流，虽已疲惫不堪，但也乐此不疲。这也是本系列丛书在命名上对从业者的期许，希望能够帮助读者详细梳理知识点，在心中形成知识体系，并通过各种角度分析加深印象，牢记于心，将知识从枯燥的文字搬入脑海。那么，然后呢，这本书就可以丢掉了！不要止步，还有更多的知识在等待着我们。

　　本系列丛书，将尽量使用当下最为流行甚至前沿的技术版本，但，毕竟写作也需要耗费大量的时间精力，可能在您看到本书的时候，它已失去了耀眼的光辉，不过还是希望能够对那些没有技术框架更新需求或计划的产品线有所帮助。同样，如果读者对某些知识点还存在疑惑，也可以通过本书来进行一个查漏补缺，相信对快速掌握新技术也是会有所帮助的。

　　本书的写作目的很明确，深入探究C# 爬虫的技术细节以及在实际工作中，需要注意的“坑”。

　　本书并不是入门书籍，并没有将知识点做层次划分，因为实际生产过程中，要求就是很高，没有产品经理跑过来会对你说：“兄弟，咱们这周先搭一个入门级商城先用着，下周再升级成中级，月底咱们再升级成高级的，你说好不好？”。相信他这么说，你是很满意了，因为你看到的入门书籍太多了，很习惯，很适应甚至是很喜欢，不过，到不了月底，这位产品经理可能已经离去了。

第二节：使用C#开发爬虫 概述

　　主要功能特性

• 分布式：爬虫从单点向集群发展已经是一个大趋势，当然，视实际情况而定，并不是所有需求都必须要做成集群，但笔者希望从业人员都具有扩展它的能力。
• 两套模板：采集模板和分析模板，当我们的采集目标是不固定的，我们更希望在切换到下一个目标的时候，能够少写代码，尽量通过配置来完成。
• 多线程：在数据采集、数据处理领域，多线程是必不可少的基本功。
• 缓存的应用：缓存有助于我们提高系统的整体性能，但它也是双刃剑，在实际应用中，需要多方考量，谨慎使用。
• 数据存储：数据存储的介质、思路、方式有很多，没有什么是最好的，就像使刀还是使剑，各有所长，建议在开发阶段，使用顺手的吧，也提倡尝鲜，但在生产环境中，还是使用最适合的。
• 数据源：在采集过程中，我们经常会碰到一些阻碍，来自技术本身、个人能力或者数据源本身的问题，那么，我们需要扩宽思路，不要在一棵树上吊死，尝试换个思路和路径，也许能达到更好的效果。
• 可扩展：本书尽可能的让读者能够开发出一套可扩展性强的爬虫系统，包括但不限于：可扩充节点、灵活的配置、自定义接口等。

　　这些特性都将融入在具体章节中详细讲解。

• 第三节：开发环境准备

  　　想要开始我们的MVC之旅，开发环境是必不可少的，但是本书并不想浪费过多笔墨在基础环境搭建上，只是列出基础环境需求以及本书中使用的IDE开发环境。

• 　Windows操作系统
• 　Visual Studio 2017
• 　数据库（为了避免大家对使用何种数据库产生分歧，本书尽量使用文件系统，比较中立，至于生产环境使用何种数据库，取决的因素很多，后续章节中，也会给出一些建议）
• 　但还是需要读者有一定的C#及数据库方面的知识，越强越好！可以参阅本系列丛书中的其他书籍。

《C# 爬虫 破境之道》：概述

标签：数据采集   经理   知识   它的   思路   name   问题   等等   要求   

原文地址：https://www.cnblogs.com/mikecheers/p/12010265.html