雨哲浅谈关于防采集而不影响收录内容篇

　　让站长最头痛的事，除了程序和服务器安全外，可能就要算内容被采集了。当然，现在网络本身就是资源共享，我这里不谈采集的对错，只是就防采集说说个人看法。


一、如何分辨搜索爬虫
以前，在网上看到过关于用asp代码来捕捉搜索爬虫的代码，通过代码把爬虫的访问记录记录到文件。就此代码（原作者未知）我作了修改，加入程序中防采集。现做成函数，直接在页面中调用。
复制代码 代码如下:
FunctionCheckSearchRobots(SearchRobotsAgent)
CheckSearchRobots=False
自定义搜索爬虫，因篇幅关系，这里只是加入国内主要搜索引擎爬虫部分记录
DimSearchRobots:SearchRobots=Baidu@BaiduGoogle@Googlecrawler@alexaYahoo@Yahoosohu@SohuMSN@MSNQihooBot@Qihoo
dimArrSearchRobots,ArrSearchRobots2,SearchRobotsTrue,SearchRobotsName,iSearchRobots
SearchRobotsTrue=False
ArrSearchRobots=split(SearchRobots,chr(124))
ForiSearchRobots=0ToUbound(ArrSearchRobots)
ArrSearchRobots2=split(ArrSearchRobots(iSearchRobots),@)
IfInstr(lcase(SearchRobotsAgent),lcase(ArrSearchRobots2(0)))>0then
SearchRobotsTrue=true:SearchRobotsName=ArrSearchRobots2(1):exitfor
EndIf
Next
IfSearchRobotsTrueandlen(SearchRobotsName)>0then如果是爬虫,就更新爬虫信息
CheckSearchRobots=True
EndIf
EndFunction

将以上代码放在asp程序中（具体如何放置请参考相关文章），然后在需要调用的地方作如下调用：IfCheckSearchRobots(SearchRobotsAgent)=FalseThen
Response.Write非搜索引擎，可作部分限制！这里可以加入判断指定时间的刷新次数，比如在正常情况下，访问速度是N次/分，如果超过这个次数（超常规访问）就可以限制了。
EndIf
二、限制超常规访问。
下面说说如何限制别人的超常规访问。下面代码来源于互联网（原作者未能找到）。我作了部分修改和说明。
复制代码 代码如下:
SubCheckAppeal()
DimAppealNum,AppealCount
AppealNum=10同一IP60秒内请求限制次数
雨哲站长测试结果一，如果限制为10次，动易采集结果,一分钟能采集成功12篇，失败8篇。
雨哲]站长测试结果二，如果限制为8次，动易采集结果,一分钟能采集成功9篇，失败11篇。
AppealCount=Request.Cookies(AppealCookies)
IfAppealCount=Then
Response.Cookies(AppealCookies)=1
AppealCount=1
response.cookies(AppealCookies).expires=dateadd(s,60,now())
Else
response.Cookies(AppealCookies)=AppealCount+1
response.cookies(AppealCookies).expires=dateadd(s,60,now())
EndIf
ifint(AppealCount)>int(AppealNum)then
Response.Write兄弟，爬了这么久，歇会儿吧，别累坏了身体！
这里的提示完全可以自定义，我的做法是另外转到一个和当前文章模板完全一致的页面，当然内容是自定义的。
有兴趣的朋友也可以采集<aclass=channel_keylinkhref=雨哲</a>在线的频道下面的文章。
Response.end
EndIf
EndSub

将以上代码放在asp程序中（具体如何放置请参考相关文章），然后在需要调用的地方作如下调用：
CallCheckAppeal()