您现在的位置是:首页 >技术杂谈 >python网络爬虫笔记20:批量下载图片并将其转换为pdf文档网站首页技术杂谈

python网络爬虫笔记20:批量下载图片并将其转换为pdf文档

小薛引路 2024-06-17 11:27:14
简介python网络爬虫笔记20:批量下载图片并将其转换为pdf文档

对于有些网页,你可以预览所有的页面内容,并且也可以通过F12获取到页面的URL,但是面对动辄几十页的图片,手动下载显然是不可行的。

在这里我们给出一个人机交互的通用解决策略。

第一步:使用F12获取页面所有感兴趣图片的URL

这一步看似简单,其实也暗藏玄机。因为有些网站你能看到所有图片,但是你在网页上点击F12并不会给你显示网址源码。这个时候,你就需要在网址上,点击F12一般都会显示出网页的源码。

第二步:手动刷新网页把所有的图片连接都刷出来

这一步就是手动刷出来所有的网址连接的URL,然后分析这些URL之间有什么规律;根据规律,我们就可以使用代码批量下载了。例如:

给出第一页和第二页的URL:

https://hbba.sacinfo.org.cn/hbba_onlineRead_page/385f9c

风语者!平时喜欢研究各种技术,目前在从事后端开发工作,热爱生活、热爱工作。