爬虫

在 medium 上看到一篇很赞的文章……无奈关键部分一律无法加载出来，挂了梯子也不行，很心塞。刚刚突然发现加载出来了，以防之后再次无法访问，所以搬运过来。 There are couple of articles on how to integrate Scrapy into a Django Application (or vice versa?). But most of them don’t cover a full complete example that includes triggering spiders from Django views. Since this is a web application, that must be our main goal.

再次迫于生计。。。 参考了面向新人的 Python 爬虫学习资料 大致的学习路线为： 一： 简单的定向脚本爬虫（ request — bs4 — re ） 二： 大型框架式爬虫（ Scrapy 框架为主） 三：浏览器模拟爬虫 （ Mechanize 模拟 和 Selenium 模拟） 有 Python 基础和一点 html 基础的话，貌似上手是 0 难度的。