本项目旨在通过RTSP协议获取摄像头预览流,并在RK3568开发板上进行人脸识别与姿态识别等处理。由于RTSP协议通常使用H.264/H.265压缩格式,解码后的视频数据需要转换为适合处理的格式(如NV21)。为了满足实时性需求,我们选择FFmpeg作为解码工具,但遇到了解码性能不足、卡顿、掉帧等问题。经过分析,发现Java层解码效率较低,转码过程中产生较大的延迟,影响了预览流畅度。因此,项目中优化了FFmpeg解码过程,采用多线程处理,分离拉流、解码和渲染,使用时间戳控制帧的显示顺序,并增加了队列管理以清理过期帧,确保解码连续性和渲染流畅度。此外,还解决了在不同分辨率下性能瓶颈,提升了在高分辨率下的帧率表现。最终,目标是实现低延迟、高效的视频流处理,满足实时人脸识别与姿态检测需求。
1