北航并行课程作业： 在GPU 实现一个矩阵并行乘法程序，要求矩阵大小不小于8000*8000，且元素为双精度浮点数（double）类型；比较并行程序与串行程序的加速比，同时注意排除数据准备时间作程序运行时间。 在现代计算机科学领域，GPU计算已经成为提高程序性能的重要手段。特别是在科学计算和大数据处理领域，利用GPU强大的并行处理能力，可以显著提升程序的运行效率。本篇文章将探讨如何在GPU上实现矩阵乘法的并行计算，并对比并行程序与传统的串行程序在性能上的差异。 矩阵乘法是计算机科学中的一项基础操作，广泛应用于各个领域，如图形处理、物理模拟、机器学习等。然而，当矩阵的维度和元素数量达到一定规模时，串行算法的计算效率将变得低下。因此，采用并行计算技术来优化矩阵乘法变得尤为重要。 CUDA（Compute Unified Device Architecture）是由NVIDIA公司推出的一种通用并行计算架构，它使得开发者能够利用NVIDIA的GPU来解决复杂的计算问题。CUDA提供了丰富的编程接口，允许开发者编写能够在GPU上运行的并行程序。这不仅可以大幅提高计算性能，还可以使CPU从繁重的计算任务中解放出来，专注于处理其他任务。 在本作业中，北航并行课程要求学生使用CUDA实现一个矩阵乘法程序，并要求矩阵的大小不小于8000*8000，且元素类型为双精度浮点数。这是因为双精度浮点数能够提供更高的计算精度，适合科学计算的需求。同时，较大的矩阵大小可以充分发挥GPU的并行处理能力。 在实现并行矩阵乘法时，需要特别注意数据在CPU和GPU之间的传输效率。由于GPU拥有独立的内存空间，因此需要将矩阵数据从主机（CPU）内存复制到设备（GPU）内存中。计算完成后，再将结果从设备内存复制回主机内存。这一过程中涉及的数据传输可能会成为性能瓶颈，因此需要合理安排数据传输和计算的时间，以确保整体性能。 为了评估并行矩阵乘法程序的性能，本作业还要求学生比较并行程序与串行程序的加速比。加速比是衡量并行程序性能提升的一个重要指标，它反映了并行程序相对于串行程序的运行时间缩短了多少倍。由于GPU的并行计算能力，理论上加速比应当远大于1。在进行性能评估时，还需要特别排除数据准备时间，只考虑程序的实际运行时间，这样才能更准确地反映并行计算的性能优势。 在并行程序的开发中，需要注意GPU内存的使用效率，避免内存访问冲突和内存带宽的浪费。合理设计线程块的大小和数量，以及确保每个线程正确地执行其任务，都是实现高效并行矩阵乘法的关键因素。此外，优化算法的设计，比如采用分块算法来减少全局内存访问，也能有效提高程序的性能。 本作业的提交物包括一份详细的报告（HW-MP4-CUDA.pdf）、另一份报告（HW-MP4-SYCL.pdf）、源代码文件以及编译后的可执行程序。报告中将详细说明并行矩阵乘法程序的设计思路、实现方法、性能测试结果以及性能分析等。源代码文件将展示具体的编程实现，而可执行程序则可以直接运行以验证程序的正确性和性能。 本作业不仅要求学生掌握CUDA编程技术，还要求他们能够从理论到实践深入理解并行计算的原理和优化策略。通过这样的课程作业，学生将能够为未来的高性能计算应用打下坚实的基础。

在IT行业中，OpenCV（开源计算机视觉库）是一个广泛使用的库，它包含了众多用于图像处理和计算机视觉的函数。OpenCV支持多种平台，包括Windows、Linux、Mac OS以及Android和iOS等移动平台。CUDA（Compute Unified Device Architecture）是NVIDIA推出的一种并行计算平台和编程模型，它允许开发者利用GPU（图形处理器单元）的强大计算能力来加速计算密集型任务，如图像处理和深度学习。 在OpenCV中集成CUDA功能，可以极大地提升图像处理的速度，特别是在处理大量数据或运行复杂的算法时。OpenCV 4.5.1版本引入了对CUDA的优化支持，使得开发者能够利用现代GPU的并行计算能力，实现高效且高性能的应用。 "OpenCV 4.5.1 编译CUDA cache文件"这个标题意味着我们需要编译特定于CUDA的OpenCV版本，并创建一个缓存文件。这个缓存文件通常包含了预编译的二进制模块，用于加速后续的编译过程。在开发环境中，编译大型库如OpenCV可能会消耗很多时间，通过使用缓存，我们可以避免重复编译已经完成的部分，从而节省时间和资源。 描述中的“需要下载的缓存文件”可能是指开发者需要获取预先编译好的CUDA缓存，以便快速配置和构建自己的OpenCV环境。这种做法尤其适用于那些没有强大编译环境或者对编译流程不熟悉的用户。.cache文件通常是一个隐藏的文件或目录，存储了编译器的中间结果和元数据。 为了编译OpenCV 4.5.1并启用CUDA支持，开发者需要遵循以下步骤： 1. **安装依赖**：确保系统上已经安装了CUDA Toolkit和cuDNN（如果需要进行深度学习操作）。这些可以从NVIDIA官方网站上下载并安装。 2. **获取源码**：从OpenCV的官方GitHub仓库或者发布页面下载4.5.1版本的源代码。 3. **配置编译**：使用CMake工具来配置编译选项，开启CUDA支持。在CMake设置中，找到WITH_CUDA选项并设为ON。 4. **编译与链接**：指定编译器和链接器路径，然后执行make命令进行编译。这一步会生成CUDA相关的.cache文件。 5. **安装和测试**：编译完成后，将编译得到的库文件安装到系统路径，然后编写简单的程序测试CUDA功能是否正常工作。 在实际开发过程中，了解如何正确配置和使用CUDA缓存对于提高工作效率至关重要。同时，理解和掌握OpenCV与CUDA的结合使用，能够帮助开发者编写出更高效的计算机视觉应用，尤其是在实时处理和大规模数据处理的场景下。因此，深入学习和实践OpenCV 4.5.1的CUDA功能，对于提升IT专业技能具有重要的意义。

本人实测，Ubuntu24.04按照我的步骤去做更丝滑。 windows11+Ubuntu 22.04双系统共存，安装Ubuntu 22.04，然后安装Nvidia 驱动、cuda、cuDNN、anaconda、虚拟环境、VS Code 和 Pycharm 专业版。 注：新手请参考我附加的链接进行操作。有一定经验的同学可以看本文快速安装。 根据提供的信息，我们可以总结出以下知识点： ### 一、安装 Ubuntu 22.04 #### 步骤详解： 1. **下载 Ubuntu ISO 文件** 访问 Ubuntu 官方下载页面（），下载 Ubuntu 22.04 的 ISO 文件。 2. **创建启动盘** 使用 Rufus 工具（）将下载好的 ISO 文件烧录到 U 盘上。确保选择正确的选项以确保 U 盘兼容性和可启动性。 3. **设置 BIOS 启动顺序** 重启计算机并进入 BIOS 设置（通常通过按 F2 或 F12 键），设置 U 盘为第一启动项。 4. **安装 Ubuntu** 跟随屏幕提示完成 Ubuntu 的安装。注意，在安装过程中不要选择安装第三方图形驱动，这会导致后续安装 Nvidia 驱动出现问题。 ### 二、安装 Nvidia 驱动 #### 步骤详解： 1. **连接网络** 确保 Ubuntu 22.04 已连接到互联网。 2. **选择 Nvidia 驱动** 打开“软件与更新”，选择合适的 Nvidia 驱动进行安装。注意，应根据自己的显卡型号选择合适的驱动版本。 3. **应用更改并重启** 安装驱动后，系统可能会提示重启以完成安装。 4. **验证驱动安装** 使用 `nvidia-smi` 命令在终端中检查 Nvidia 驱动是否正确安装。如果看到 GPU 信息，则表示安装成功。 ### 三、安装 CUDA #### 步骤详解： 1. **下载 CUDA** 访问 NVIDIA 开发者网站（），选择与当前 Nvidia 驱动版本匹配的 CUDA 版本进行下载。 2. **安装 CUDA** 使用终端执行安装命令，例如 `sudo sh cuda_12.2.0_535.54.03_linux.run`。确保使用正确的 CUDA 版本文件名。 3. **配置环境变量** 编辑 `.bashrc` 文件，添加 CUDA 的路径至 `PATH` 和 `LD_LIBRARY_PATH` 环境变量中，保存更改并使环境变量生效。 4. **验证安装** 在终端中执行 `nvcc -V` 命令，如果显示出 CUDA 的版本信息，则表示安装成功。 ### 四、安装 cuDNN #### 步骤详解： 1. **下载 cuDNN** 访问 NVIDIA 的 cuDNN 下载页面（），下载适用于当前 CUDA 版本的 cuDNN 安装包。 2. **安装 cuDNN** 使用 `dpkg` 命令安装下载好的 cuDNN 包，并复制密钥文件到 `/usr/share/keyrings/` 目录下。 3. **验证安装** 使用 `cd` 命令进入 `/usr/local/cuda-12.2/extras/demo_suite/` 目录，执行 `./bandwidthTest` 和 `./deviceQuery` 命令来验证 cuDNN 是否安装成功。 以上步骤提供了从零开始安装 Ubuntu 22.04、Nvidia 驱动、CUDA 和 cuDNN 的详细指南。每一步都至关重要，特别是环境变量的配置和软件版本的匹配。对于新手来说，建议按照提供的链接进行逐步操作，而有一定经验的用户则可以根据上述步骤快速完成安装。

nvidia英伟达-认证加速计算基础 —— CUDA C/C++代码

opencv+cuda编译所需要第三方库.cache文件夹： 此文件用于opencv+cuda进行联合编译时使用 1.解压 2.替换到opencv源码目录下 3.将文件夹中对应文件名字修改问opencv所对应的版本名字 具体细节可参考我的博客：https://blog.csdn.net/yohnyang/article/details/129835311

**TensorFlow 与 cuDNN 简介** TensorFlow 是一个开源的机器学习框架，由 Google Brain 团队开发，用于数据建模、训练和部署各种机器学习模型。它支持分布式计算，允许在多种硬件平台上高效运行，包括 CPU 和 GPU。 CuDNN (CUDA Deep Neural Network) 是 NVIDIA 开发的一个深度学习库，它为 GPU 加速的深度神经网络（DNN）提供了高效的库函数。CuDNN 提供了卷积、池化、激活、归一化、张量运算等关键操作的优化实现，极大地提升了在 GPU 上运行深度学习模型的速度。 **TensorFlow 与 cuDNN 的关系** TensorFlow 在执行 GPU 计算时，可以利用 cuDNN 来加速神经网络的计算过程。特别是在处理大规模图像识别、自然语言处理等需要大量计算的任务时，结合 CUDA 和 cuDNN 可以显著提高训练和推理的速度。 **CUDA 和 cuDNN 版本兼容性** CUDA 是 NVIDIA 提供的并行计算平台和编程模型，它使得开发者能够利用 GPU 进行高性能计算。对于 cuDNN，它需要与特定版本的 CUDA 相匹配才能正常工作。在这个案例中，提供的 cuDNN 版本是 8.1.1.33，而对应的 CUDA 版本是 11.2。 **安装与配置** 1. **下载 cuDNN**: 你需要从 NVIDIA 官方网站下载 cuDNN 8.1.1.33，并确保它是针对 CUDA 11.2 版本的。压缩包中的 `cudnn-11.2-windows-x64-v8.1.1.33.zip` 文件应该包含了所有必要的库文件。 2. **解压与复制**: 解压缩下载的文件，将包含的头文件（`.h`）、库文件（`.dll` 和 `.lib`）和库库文件（`.cubin` 和 `.ptx`）复制到相应的系统目录。通常，这包括将头文件复制到 CUDA SDK 的 include 目录，库文件复制到 CUDA 的 lib 和 bin 目录。 3. **环境变量设置**: 更新系统的 PATH 环境变量，确保可执行文件（`.dll`）所在的目录被添加到路径中。 4. **配置 TensorFlow**: 在安装 TensorFlow 的环境中，配置 cuDNN 和 CUDA 的路径。如果使用的是 Python 环境（如 Anaconda 或 virtualenv），可以通过修改环境变量或者在代码中指定 cuDNN 和 CUDA 的路径来完成。 5. **验证安装**: 安装完成后，可以通过编写简单的 TensorFlow 程序并运行来验证 cuDNN 是否正确安装。例如，创建一个简单的卷积神经网络模型并进行训练，如果能正常运行且速度有所提升，说明安装成功。 **使用说明.txt** 这个压缩包可能还包含了一个名为 `使用说明.txt` 的文件，该文件提供了详细的安装和配置步骤，确保按照文件中的指导进行操作，避免因错误配置导致的问题。务必仔细阅读并遵循这些说明，以确保 cuDNN 和 TensorFlow 的正确集成。 正确安装和配置 cuDNN 8.1.1.33 与 CUDA 11.2 对于优化 TensorFlow 2.11.0 的性能至关重要。通过充分利用 GPU 的计算能力，你可以加速深度学习模型的训练过程，提高工作效率。

CUDA学习资料，英文版 The high-performance computing (HPC) landscape is always changing as new technologies and processes become commonplace, and the defnition of HPC changes accordingly. In general, it pertains to the use of multiple processors or computers to accomplish a complex task concurrently with high throughput and effciency. It is common to consider HPC as not only a computing architecture but also as a set of elements, including hardware systems, software tools, programming platforms, and parallel programming paradigms.

selective_scan_cuda 在Windows下对应的模块编译好的文件，可解决 No moudule named selective_scan_cuda.

mamba是一个用于管理Python环境的包管理工具，类似于conda，但相较于conda有更快的安装速度和更优的性能。它广泛应用于数据科学、机器学习等领域，特别是当用户需要处理大型数据集和复杂模型时。torch环境指的是PyTorch环境，PyTorch是由Facebook开发的一个开源机器学习库，广泛用于计算机视觉和自然语言处理等领域。 mamba与torch环境的结合，让用户可以方便地管理和维护PyTorch及其相关依赖包的安装和更新，确保了不同项目的依赖环境互不干扰。通过mamba可以创建独立的环境，每个环境都可以安装特定版本的PyTorch和其他库，这样可以避免因版本冲突而导致的问题。 本次提供的压缩包文件包含了PyTorch、torchvision和torchaudio的whl文件，这些文件分别对应于不同版本的PyTorch核心库、视觉处理模块和音频处理模块。这些库都支持CUDA架构，这意味着它们可以利用NVIDIA GPU的计算能力来进行加速计算，尤其是在深度学习训练和推断中。 文件名中的“cu118”表示这些库支持CUDA 11.8版本，这对于拥有相应GPU硬件的用户而言十分重要，因为只有正确匹配CUDA版本才能确保GPU加速功能得以利用。而“cp310-cp310”表明这些库是为Python 3.10版本设计的，确保了与当前流行Python版本的兼容性。文件扩展名“.whl”是Python Wheel的缩写，表示这是一个预编译的Python分发包，安装时比传统的`.tar.gz`格式更加快捷和简单。 此外，文件名中的“torch-2.3.1+cu118-cp310-cp310-linux_x86_64.whl”、“torchvision-0.18.1+cu118-cp310-cp310-linux_x86_64.whl”和“torchaudio-2.3.1+cu118-cp310-cp310-linux_x86_64.whl”分别表示这些是PyTorch核心库、视觉处理模块和音频处理模块的安装包。安装这些包之后，用户可以在Python环境中使用PyTorch进行机器学习模型的训练和推理，使用torchvision进行图像和视频的处理，以及使用torchaudio处理音频数据。 通过这样的安装方式，开发者可以快速构建出一个具有高度兼容性和高性能的深度学习开发环境，从而专注于模型的开发和创新，而不必担心环境配置的问题。这对于科研人员、数据科学家、机器学习工程师等群体来说，无疑提高了工作效率，加速了开发进程。 无论如何，使用mamba安装PyTorch及其相关模块时，都应该遵循官方的安装指南，并确保所选择的版本与系统环境以及项目需求相匹配。特别是在使用特定版本CUDA的GPU时，应该下载与之对应的CUDA版本的PyTorch包，以确保最佳性能。此外，由于深度学习领域发展迅速，库的版本更新频繁，保持环境的更新和维护也是使用过程中不容忽视的环节。

CUDA 编程：基础与实践 CUDA（Compute Unified Device Architecture）是一种由NVIDIA公司推出的编程模型，用于利用GPU（Graphics Processing Unit）的强大计算能力来执行并行计算任务。CUDA编程是实现高性能计算的重要手段，特别是在科学计算、数据分析、机器学习等领域有着广泛应用。 本书《CUDA 编程：基础与实践》由樊哲勇著，旨在通过实例系统地介绍CUDA编程的基础知识和技术。书中分为三个部分： 1. **基础知识**：前12章主要针对初学者，通过一系列简短的示例来引导读者理解CUDA编程的核心概念。这些章节涵盖了GPU硬件结构，CUDA软件开发工具的使用，如CUDA SDK和nvcc编译器。第1章介绍了GPU的基本工作原理和CUDA编程环境。第2章至第4章讲解了CUDA线程组织、程序框架和错误处理机制。第5章探讨了如何实现GPU加速的关键因素，如数据局部性和计算并行度。接着，第6章至第8章详细阐述了CUDA的内存系统，包括全局内存、共享内存、常量内存和纹理内存的使用。第9章介绍了原子操作，这是在并行环境中实现同步和数据一致性的重要工具。第10章讲解了线程束内的基本函数，如同步和同步屏障。第11章和第12章分别讨论了CUDA流和统一内存，前者用于提高并发执行的效率，后者简化了主机与设备间的数据管理。 2. **实践应用**：第13章通过一个具体的分子动力学模拟程序，综合运用前面章节的知识，让读者体验完整的CUDA项目开发过程。这一章不仅加深了对CUDA编程的理解，也展示了CUDA在实际问题解决中的应用。 3. **CUDA库的使用**：第14章介绍了几个常用的CUDA库，包括Thrust、cuBLAS、cuSolver和cuRAND。这些库提供了高级接口，简化了矩阵运算、线性方程组求解和随机数生成等任务的实现，是CUDA编程中不可或缺的工具。 本书适合具有C++编程基础的理工科大学生和研究生，以及任何对CUDA编程感兴趣的读者。通过学习，读者将能够熟练掌握CUDA编程语言，了解并行计算的基本原理，以及如何利用GPU加速计算密集型任务。 作者樊哲勇，作为一名专注于计算凝聚态物理的博士后，拥有丰富的CUDA编程经验，他的CUDA开发项目如GPUMD、GPUGA和GPUQT已在相关领域发表多篇论文。本书的源代码可在GitHub仓库中获取，读者可以在此基础上进行实践和交流。 《CUDA 编程：基础与实践》是一本全面且实用的CUDA编程教程，它不追求涵盖所有的CUDA特性，而是精心挑选了最核心的知识点，旨在帮助读者快速掌握CUDA编程并应用于实际项目中。无论你是初涉GPU计算，还是希望进一步提升CUDA编程技巧，这本书都将是你宝贵的参考资源。