简介

PaddleVideo 旨在打造一套丰富、领先且实用的 Video 工具库，旨在帮助开发者更好的进行视频领域的学术研究和产业实践。

PaddleVideo 是一个基于飞桨的视频理解工具库，它支持视频数据标注工具、轻量化的RGB和骨骼点的行为识别模型、以及视频标签和运动检测等实用应用。

网址：https://github.com/PaddlePaddle/PaddleVideo/tree/develop

特性

支持多种 Video 相关前沿算法，在此基础上打造产业级特色模型 PP-TSM 和 PP-TSMv2，并打通数据生产、模型训练、压缩、预测部署全流程。

许可证书

项目的发布受 Apache 2.0 license 许可认证。

PaddleVideo 文件目录总述

• .github/ ISSUE_TEMPLATE 文件夹：存放 GitHub issue 模板。

issue 模板是一种用于 规范提问或建议 的格式，它可以帮助开发者和用户更有效地沟通和解决问题。
不同的项目可能有不同的 issue 模板，一般都会放在 项目根目录 下的.github文件夹中，以 ISSUE_TEMPLATE 开头命名。

例如，PaddleVideo 项目中有两种 issue 模板：

• Bug report：用于描述在学习中遇到的问题，包括问题描述、重现步骤、期待效果、截图、环境版本说明等。
• Feature request：用于帮助维护教程的有效性，包括问题描述、解决建议、其他想法、其他内容等。

• benchmark/TimeSformer 文件夹：存放 基于 transformer 的行为识别模型 TimeSformer 的代码和配置。

这里的 benchmark 表示一种评价方式，用于将某个事物的质量或数量与已知的标准进行比较。
该 benchmark 文件夹，存放基于 transformer 的行为识别模型 TimeSformer 的代码和配置，用于 与其他模型进行性能对比。

• data：存放 各种数据集的示例文件，如 ucf101、ntu-rgb-d、fsd10 数据集；以及 各种文件格式的 example，如 example.pkl、example.avi、example_feat.npy。
• deploy：存放 部署 相关的代码和文件。
• test_tipc：存放 测试 相关的代码和文件。
• tools：存放 工具 相关的代码和文件。
• output：存放 训练输出的权重、优化器参数等文件。
• log：存放 训练日志。
• inference：存放 预测模型。

applications 文件夹详述

存放 视频应用 相关的 代码和数据。

可以根据该文件夹下的应用案例，快速找到你要做的项目，如 $FigureSkating$ 花样滑冰。

应用案例 如下图所示：

configs 文件夹详述

存放各种模型和数据集的 配置文件。

配置文件 是用于 定义模型结构、训练参数、数据处理等内容 的 yaml 格式的 文本文件。

PaddleVideo 支持 通过修改配置文件 来 实现不同的模型和数据集的组合，以及进行 模型训练、测试、推理等操作。

PaddleVideo 分类别 存放不同模型和数据集的配置文件：
PaddleVideo/configs/ 下有 recognition（行为识别）、segmentation（视频分割）、localization（动作定位）、detection（动作检测） 等文件夹。

举例来说， recognition 文件夹下有很多行为识别方向的模型和数据集的 配置文件，如图：

docs 文件夹详述

存放 文档 相关的文件。

包括 快速开始、安装说明、使用指南、模型库、场景应用 等内容。这些文件都是以 markdown 格式编写的，可以在 GitHub 或者 Gitee 上直接查看或者下载。

• PaddleVideo/docs/zh-CN/dataset/ 文件夹下是对 各种数据集 的说明文档，包括 数据集的介绍、下载、预处理 等。

• PaddleVideo/docs/zh-CN/model_zoo/ 文件夹下是一些前沿 算法与模型 的说明文档，包括 各种模型的介绍、性能、下载链接 等。

• PaddleVideo/docs/zh-CN/benchmark.md：存放 模型性能对比 相关的文档，包括 各种模型在不同数据集上的精度和速度 等。

paddlevideo 文件夹详述

存放 视频模型库相关的代码和文件 的文件夹。

该文件夹下主要有以下文件，如图：

utils 文件夹

paddlevideo/utils 文件夹中包含了一些 通用的工具函数 和 预处理方法，用于 辅助视频数据的加载、预处理和后处理 等。

tasks 文件夹

tasks 文件夹的作用是存放一些 用于定义和执行不同的机器学习任务的类或函数。

不同的机器学习任务可能需要不同的数据集，模型，指标，训练和测试流程等，例如图像分类任务，关系分类任务，语义检索任务，智能问答任务等。

tasks 文件夹中的类或函数可以根据 不同的任务和数据集 来构建和运行相应的模型，并 在训练或测试过程中使用 metrics 文件夹中的指标来评估模型的性能。

loader 文件夹

loader 文件夹的作用是存放一些用于 加载和处理数据 的类或函数。

不同的机器学习任务可能需要不同的数据格式，数据预处理，数据增强，数据采样等，例如，

• 图像分类任务 需要加载图像文件，进行裁剪，旋转，归一化等操作，
• 关系分类任务 需要加载文本文件，进行分词，编码，填充等操作。

loader 文件夹中的类或函数可以根据 不同的任务和数据集 来创建和使用相应的 数据加载器，并 在训练或测试过程中提供批量的数据输入。

modeling 文件夹

modeling 文件夹的作用是存放一些用于 构建和定义模型 的类或函数。

该文件夹下如图：

其中， backbones 文件夹下：

heads 文件夹下：

不同的机器学习任务可能需要不同的模型结构，模型参数，模型层，模型激活等，例如，

• 图像分类 任务需要使用卷积神经网络，全连接层，$softmax$ 层，$ReLU$ 激活等，
• 关系分类任务 需要使用循环神经网络，注意力机制，线性层，$tanh$ 激活等。

modeling 文件夹中的类或函数可以根据 不同的任务和数据集 来创建和使用相应的 模型，并在训练或测试过程中实现模型的前向传播和反向传播。

solver 文件夹

solver 文件夹的作用是存放一些用于 优化和求解模型 的类或函数。

不同的机器学习任务可能需要不同的优化算法，损失函数，正则化项，学习率策略等，例如，

• 图像分类任务 需要使用随机梯度下降，交叉熵损失，权重衰减，余弦退火等，
• 关系分类任务 需要使用自适应矩估计，对比损失，对抗训练，线性衰减等。

solver 文件夹中的类或函数可以根据 不同的任务和数据集 来创建和使用相应的 优化器，并 在训练或测试过程中更新和调整模型的参数。

metrics 文件夹

metrics 文件夹存放一些用于 评估模型性能的指标 的类或函数。

不同的机器学习任务可能需要不同的指标来衡量模型的好坏，例如，

• 分类任务 常用的指标有准确率，召回率，$F1$分数，$ROC$ 曲线等，
• 回归任务 常用的指标有均方误差，均方根误差，平均绝对误差等。

metrics 文件夹中的类或函数可以根据 不同的任务和数据集 来定义和计算相应的 指标，并 在训练或测试过程中更新和累积指标的值，以便于模型的选择和优化。