科学健康资讯 · 内容仅供参考,不替代专业诊疗 联系我们|疾病百科
操作系统

动态爬虫(动态爬虫工具)

2023-06-06 操作系统 本文链接

如何选择爬虫技术?

最近在准备python爬虫课程,总结选择原则如下:

一是,没反爬或者反爬措施很一般的,用requests和bs4(或lxml)就可以,而且速度快。

二是,反爬措施很好的,采用selenium

三是,采用动态网页技术的,采用selenium,尽管速度上不够理想。或者XHR请求,但找到实际请求网址有时会比较麻烦!

四是,大规模数据爬取,采用scrapy框架。

,

本文内容仅供健康科普参考,不能替代专业医疗诊断和治疗建议。如有身体不适,请及时就医并遵从医师指导。

相关阅读