动态爬虫(动态爬虫工具)
如何选择爬虫技术?
最近在准备python爬虫课程,总结选择原则如下:
一是,没反爬或者反爬措施很一般的,用requests和bs4(或lxml)就可以,而且速度快。
二是,反爬措施很好的,采用selenium
三是,采用动态网页技术的,采用selenium,尽管速度上不够理想。或者XHR请求,但找到实际请求网址有时会比较麻烦!
四是,大规模数据爬取,采用scrapy框架。
,
本文内容仅供健康科普参考,不能替代专业医疗诊断和治疗建议。如有身体不适,请及时就医并遵从医师指导。





