推荐一款网站内链爬取python脚本网站首页 技术教程

目标

使用 web-tools 提供的webSpider来爬取网站内链，并且将其导出。

webSpider介绍：

官网链接：https://web-tools.cn/web-spider
仓库地址：https://github.com/duerhong/web-spider

Web Spider 专门用于爬取网站内链，可以导出成csv/json/xml等文件。可以用于给网站生成专用的sitemap。

整个爬取过程是通过多个线程同时进行爬取，速度快；爬取过程中，会将非法的内链排除，最终可以生成一个可用的内链列表。

使用webSpider爬取原因：

爬取快；
内链高可用，且可导出
配置简单

运行环境

python3.8 +
redis 版本不限

文件结构

config.py                   配置文件，可配置redis，日志，导出数据文件路径
utils.py                    核心函数库
worker.py                   爬取主程序
task.py                     任务相关
demo_create_task.py         创建任务demo
demo_export.py              导出数据demo
env-example                 env配置文件demo，请复制一份名称env的文件
requirements.txt            依赖安装
data/csv                    当执行了导出csv文件后创建
data/sitemap                当执行了导出sitemap文件后创建

安装依赖扩展

pip install -r requirements.txt

配置

env文件配置

将当前env-example复制一份，新文件名称为env文件，并且做好以下配置

ROOT_PATH：./               当前项目根路径
REDIS_HOST=127.0.0.1        redis host
REDIS_PORT=6379             redis prot
REDIS_PASSWORD=             redis password
REDIS_DB=0                  redis db

config.py 配置文件

如果想改动默认配置，请修改相关配置项。如果为正式环境，建议将debug设置为False。

运行

运行worker.py

worker.py 为多线程 + 轮询监听运行，可以通过config.py 文件下配置spider_thread_list来调整线程数量。
当有爬取任务进入的时候，worker.py将进入爬取状态。

python worker.py
# linux
python3 worker.py
# linux 后台守护任务方式运行
nohup python3 worker.py &

创建任务

可参考 demo_create_task.py 来创建一个爬取任务，主要代码

from task import SpiderTask
task = SpiderTask()
ret = task.createTask(
    # 着陆页
    landing_page="http://localhost:7071",
    # 域名，多个域名可以用逗号隔开。当爬取链接的域名配置这个域名的时候，被认为是内链。
    # 该方案解决部分内链写的是不规范的绝对链接。
    domain="localhost",
    # 基础链接，用于生成最终爬取链接，比如当爬取的内链为 /test/1 那么最终链接为 https://www.test.com/test/1
    basic_page="http://localhost:7071/"
)
if ret:
    print("任务ID：", ret)

为了模拟真实环境，这里我将用自己本地站点域名来测试。
运行创建任务脚本：

python demo_create_task.py

创建任务

这时候可以看看woker.py 运行输出（如果是在后台，可以在log下查看相关日志）
注意：在config.py下配置了 debug 为True的情况下，日志是直接可以输出的。
worker.py 运行结果

导出结果

将创建任务输出的taskID记录下来：20230428085908_Gjw3

通过以下代码（可以参考demo_export.py）来导出为csv/sitemap数据

import json
from config import config
import utils

from task import SpiderTask
task = SpiderTask()

# List of task that has been crawled
taskList = task.getFinishTask()
print(json.dumps(taskList, indent=4))

# get inner link list
key = config['redis_urls_result_queue_prefix_key']
taskID = "20230428085908_Gjw3"
innerList = task.getInnerList(taskID)
print(json.dumps(innerList, indent=4))

urlList = []
for url in innerList:
    urlList.append(url['standard_url'])
# export sitemap.xml
utils.saveSitemap(urlList, taskID)

# export csv file
headers = innerList[0].keys()
utils.saveCsv(headers, innerList, taskID)

注意替换 TaskID 为你的真实taskid，导出结果在 data/sitemap 和data/csv下

导出结果