Abstract

现存问题：现有的跟踪框架还远远没有利用好连续帧间的时域上下文关系。

本文做法：提出TCTrack框架来充分探索空中跟踪的时域上下文。其中，时域上下文关系分为2个阶段融入跟踪器中：特征提取阶段和相似图的细化阶段。具体地，1）特征提取阶段：提出了一个在线时序自适应卷积用时序信息来增强空间特征，这一过程根据之前帧来动态校准卷积权重实现。2）相似图的细化阶段：提出一个自适应时序Transformer，它先以高效记忆的方式有效编码时域知识，然后这个时域知识被解码用于精准地调整相似图。

效果：在4个空中追踪数据集上展示出了强劲的竞争性能，并在real-world UAV上用NVIDIA Jetson AGX Xavier实现了27FPS的速度。

1. Introduction

无人机的跟踪背景介绍：由于无人机的优越动力，基于跟踪的应用正在迅速发展，如移动目标分析，地理调查，视觉定位等。然而，空中跟踪面临着2大难点：1）空中不可避免地会引入一些特别的挑战，如移动模糊，相机移动，遮挡等；2）空中平台的有限功率限制了计算资源，阻碍了最先进方法的部署。因此，一个理想的空中追踪器应该是鲁棒且高效的。

DCF和孪生网络方法的简介：大部分跟踪器都采取了标准的追踪检测框架并独立地为每帧进行检测。在这些追踪器中，判别相关滤波（DCF）方法由于其高效性和源于傅里叶域的低资源需求已经广泛地应用于空中平台。然而，这些跟踪器在快速移动，严重形变场景下仍然面临着巨大的挑战。近期，基于孪生网络的方法大量涌现，其展现了精准和鲁棒的跟踪结果，其效率也被提高用于空中平台的实时跟踪实施部署。

发现科学问题：然而，以上这些方法都忽略了时域信息，即连续帧之间的强相关性，所有这些方法很难用于感知目标的移动信息。因此，这些跟踪器很可能在目标严重形变（快速移动和遮挡）时跟踪失败。所以近期很多研究致力于利用视觉跟踪中的时域信息。对DCF来说，响应图沿时间维度的变化受到惩罚，它通过先前的响应图引导当前响应图。对基于孪生网络的方法，时域信息通过动态模板引入，其通过级联/加权和/图网络/transformer/记忆网络等技术在当前帧中嵌入历史目标外观信息。尽管他们在引入时域信息已经有了一定的成功，但大部分方法都仅探索了一个阶段，即目标特征的改进。

本文工作：

本文实验：和51个跟踪器在4个空中追踪数据集上比较。TCTrack在PC上的检测速度是125.6fps，在AGX上27FPS。

2. Related Work

2.1 Tracking by detection

MOSSE filter提出后，许多学者致力于研究跟踪算法，但其特征表达能力差，难以在复杂空中环境下维持跟踪鲁棒性。

孪生网络的方法实现了SOTA。

但这些方法都忽略了追踪场景中的时域上下文信息，限制了性能的提升。

2.2 Temporal-based tracking methods

动态模板：transformer集成，模板记忆更新，图网络，加权和，显式模板更新等。

这些方法以单层次的方式引入时域信息，在跟踪任务上性能提升有限。而本文从两个层次引入时域信息。

2.3 Temporal modelling in videos

自监督方法通过求解各种前置任务（如稠密未来预测，拼图解谜，伪运动分类等）学习时域信息；

监督视频理解探索不同帧间的各种链接，如3D卷积，时域卷积，时域飘移等。

3. Temporal Contexts for Aerial Tracking

下图展示了TCTrack的整体框架图，分为三部分：特征提取(3.1节中介绍)+相似性特征图改善(3.2节中介绍)+分类和回归分支。

3.1 Feature extraction with online TAdaConv

3.2 Similarity Refinement with AT-Trans

3.2.1 Transformer Encoder

3.2.2 Transformer Decoder

3.2.3 Transformer编解码的消融实验

在AT-Trans改善后，相似性特征图明显更关注于目标所在区域。

4. Experiments

4个空中数据集：UAV123, UAVTrack112_L, UAV123@10fps, DTB70
51个对比算法，分为2类：轻量级的(29个)和深度的（超过20个）。

4.1 Implementation Details

下图展示了不同Backbone推理时间和参数量的对比。

4.2 Comparison with Light-Weight Trackers

具体的实验结果图如下：

4.3 Ablation Study

4.4 Comparison with Deep Trackers

5. Real-world Tests