Nodejs爬取蚂蜂窝文章的爬虫以及搭建第三方服务器
more
如题，本项目用Nodejs实现了对蚂蜂窝网站的爬取，并将数据储存到MongoDB中，再以Express作服务器端，Angularjs作前端实现对数据的托管。
本项目Github地址：https://github.com/golmic/mafengwo-spider
本项目线上地址： http://mafengwo.lujq.me
本文介绍其中部分的技术细节。
获取数据
打开蚂蜂窝网站，发现文章部分的数据是用Ajax获取的，包括分页也是，所以查看一下实际的请求路径，为http://www.mafengwo.cn/ajax/ajax_article.php?start=
继续阅读 »