紫光FPGA图像AI加速[代码]

本文介绍了基于紫光同创PGL50H开发平台的图像采集及AI加速技术，该技术荣获2023集创赛全国总决赛一等奖。作品通过四路视频采集（HDMI、摄像头、光口、网口）实现多源输入，采用双板卡方案优化资源利用，支持YOLOv5和YOLOv8高速识别，帧率高达240FPS。技术亮点包括：AXI总线高效传输、三帧缓存防撕裂、PCIE接口通信、夜间增强算法（直方图均衡+伽马变换）以及Python/C++上位机开发。最终成果满足自动驾驶场景的低延迟需求，识别精度达74%以上，展现了FPGA在实时图像处理中的强大潜力。 本文详细介绍了基于紫光同创PGL50H开发平台的图像采集及AI加速技术。该技术在2023年集创赛全国总决赛中荣获一等奖，其核心特点在于通过四路视频采集实现多源输入。这四路输入包括HDMI、摄像头、光口和网口，显示出该技术对多类型信号的兼容性和广泛的采集能力。 在技术实现上，采用了双板卡方案进行资源优化利用。这种方案能够有效地分配和管理硬件资源，从而提升整体的处理效率。在性能表现方面，该技术支持YOLOv5和YOLOv8两种先进的神经网络模型进行高速图像识别，能够达到每秒240帧的高帧率，大大超过了一般实时处理的要求。 技术亮点包括高效的AXI总线传输技术，这保障了数据在各个处理单元间迅速准确地传输。为了防止视频图像在处理过程中出现的画面撕裂现象，采用了三帧缓存的技术。同时，通过PCIE接口实现快速的通信，确保了数据的快速交换和处理。 针对夜间低光照环境下图像处理的挑战，该技术特别集成了夜间增强算法，结合了直方图均衡和伽马变换两种算法，显著提高了图像识别的准确性和可靠性。在开发方面，技术团队提供了一个完整的开发环境，包括Python和C++两种语言的上位机编程支持，方便不同开发者的使用需求。 最终，该技术成果在自动驾驶场景中得到了验证，其低延迟的处理性能和超过74%的高识别精度，充分展现了FPGA在实时图像处理领域的强大潜力和应用价值。 在软件开发方面，本文介绍的技术也体现了开源和模块化的设计思想。开发者可以通过提供的软件包、源码和代码包，进一步扩展和优化图像AI加速技术，推动相关技术的创新和发展。