网络爬虫全解析技术、原理与实战

2. 网络爬虫入门

2.2 各种网络爬虫

网络爬虫的遍历策略有三种 广度优选遍历、深度优先遍历和最佳优先遍历

深度优先遍历可能使爬虫调入黑洞 所以广度优先和最佳优先遍历成为常用的爬虫策略

3. 定向采集

4. 数据存储