微博社交网络图：爬虫+可视化

2017-04-11 Borg
Crawler Visualization
微博爬虫 + 社交网络图可视化 项目地址：WeiboSocialNetwork 先展示下结果再来解释代码： 首先有个R语言生成的 html 继续阅读 »

robotparser 与 requests 结合使爬虫遵守 robots.txt 协议

2017-06-26 Borg
Python Crawler
什么是 robots.txt ? robots.txt 文件放置在网站根目录下，定义了什么样的客户端（web服务器以User-Agent识别客户端）可以访问的资源有哪些，不能访问的资源有哪些。以百度的 robots.txt 为例，如下: 继续阅读 »