网络爬虫的几种常见类型
1、批量型的网络爬虫
这种类型是针对用户有着明确的抓取范围和目标，当达到既定的目标之后，抓取工作就会停止。这个目标可以是抓取的时间，也可以是抓取的数量等 。
2、增量式网络爬虫
这种爬虫类型不同于批量型爬虫，没有固定的限制，且需要程序持续不断的运行，对于抓取到的数据定期的更新。它针对的是网页在不断变化的，增量式爬虫只需要抓取新产生或者发生新变化的网页，他不会重复的抓取没有变化的网页，这样可以缩减时间和存储空间，当然这种爬虫程序运行起来是相对有难度的。
3、通用爬虫
通用网络爬虫也叫作全网爬虫，它是搜索引擎抓取系统的重要组成部分。主要为门户 网站站点搜索引擎和大型 Web 服务提供商采集网络数据。这类网络爬虫的爬行范畴和数量比较大，所以对于爬取速度和存储空间的要求很高。
4、聚焦网络爬虫
聚焦网络爬虫是指有针对性的爬取，和通用网络爬虫相比对于硬件的要求有所降低，而且所抓取的数据垂直性更高，可以满足特定人群的需求。
百度搜索引擎
百度属于综合性公开性搜索引擎，不像淘宝和阿里他们属于站内搜索不能搜到站外的。
百度全网搜索，只要你不屏蔽百度就可以被搜索到。
至于你说的发展趋势，那么还是百度流量大，但是现在互联网一直处于饱和期，所以谁也不知道趋势在哪里。
百度爬虫是什么意思
百度是搜索引擎，爬虫就是沿着网站的链接不断搜索，并下载到本地的机器人程序。
搜索引擎在一定程度上会给网站造成负担。
所以现在有很多网站都有反爬虫设置，把自己想要被搜索出的东西直接提供给爬虫，而不让爬虫去抢占带宽。
爬虫到底是什么？爬虫是否违法？简谈爬虫概念
在我没接触这一行时这个问题困扰了我很长时间，让我十分的不理解到底什么是爬虫，它难道是一种实体工具？，直到我学习python 深入分析了解以后才揭开了它神秘的面纱。
爬虫是什么呢？爬虫有简单的爬虫和复杂的爬虫。实际上简单的爬虫是一种 脚本 ，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。
脚本就是粗糙的，但往往非常实用的小程序（一般来说不会超过几千行，有时候也就几百几十行的代码构成）。举个简单的例子，你现在要从一个学生租房的网站上读取关于出租的学生公寓的信息。你一条一条去抄写肯定是不现实的。所以就要用爬虫。可以把一个信息类网站上几千条信息一次全部扒下来。百度，谷歌这类的搜索引擎你也可以认为是一种爬虫，只不过这类的技术十分的复杂，不是简单的脚本。
搜索引擎是如何工作的？其实就是通过网络爬虫技术，将互联网中数以百亿计的网页信息保存到本地，形成一个镜像文件，为整个搜索引擎提供数据支撑。
这样的技术首先就会涉及到一个十分重要并且人人关注的问题——是否违法？
仔细探究后总结出了如下观点：
1.遵守 Robots 协议，但有没有 Robots 都不代表可以随便爬，
2.限制你的爬虫行为，禁止近乎 DDOS 的请求频率，一旦造成服务器瘫痪，约等于网络攻击；
3.对于明显反爬，或者正常情况不能到达的页面不能强行突破，否则是 Hacker 行为；
4.审视清楚自己爬的内容，绝不能触碰法律的红线。
至此你应该明白，爬虫本身并不违法，而是要看你使用的方式和目的，还要看其商业用途。
相关文章
