以前吧总感觉知道request就会爬虫了
然后就不断的在网络上抓取数据,也碰到了各种各样的问题
比如IP限制、验证码、登陆限制、js加密、文字图片、分页返回假数据、视频等等各种各样的
然后项目里也采用各种线程、进程、队列等方式控制系统的稳定性。
再后来想找个工作的时候
人家说scrapy我们只用框架
好吧 搞起。
争取每周爬一类数据,练练手。
以前吧总感觉知道request就会爬虫了
然后就不断的在网络上抓取数据,也碰到了各种各样的问题
比如IP限制、验证码、登陆限制、js加密、文字图片、分页返回假数据、视频等等各种各样的
然后项目里也采用各种线程、进程、队列等方式控制系统的稳定性。
再后来想找个工作的时候
人家说scrapy我们只用框架
好吧 搞起。
争取每周爬一类数据,练练手。