针对已有深度特征用于视频分类精度较低的不足,提出了一种新的基于视频时空域深度特征两级编码融合的视频分类方法.首先基于两个深度卷积神经网络模型分别提取视频帧的深度空域信息和深度时域信息;然后依次采用Fisher向量和局部聚合对上述时空域的深度信息进行两级级联编码,实现对视频的高效表征;最后基于两级编码后的时空域联合深度特征,利用支持向量机进行分类.在UCF101上的实验结果表明,与已有的方法相比,算法具有更好的分类精度.