很多防采集方法在施行的时候需要考虑是否影响搜索引擎对的抓取所以先来分析下一般采集器和搜索引擎爬虫采集有何不同 相同点： a. 两者都需要直接抓取到网页源码才能有效工作 b. 两者单位时间内会多次大量抓取被访问的内容 c. 宏观上来讲两者IP都会变动 d. 两者多没耐心的去破解你对网页的一些加密(验证)比如网页内容通过js文件加密比如需要输入验证码才能浏览内容比如需要登录才能
