GAT-图注意力网络（PyTorch） :laptop: +图形+ :megaphone: = :red_heart: 此回购包含原始GAT论文的PyTorch实现（ :link: ）。 它的目的是简化一般的GAT和GNN的玩法和学习。 目录 什么是GNN？ 图神经网络是一系列神经网络，它们处理图上定义的信号！ 图可以建模许多有趣的自然现象，因此您会发现它们在以下任何地方都得到了使用： 计算生物学-预测强效 计算药理学-预测 流量预测-例如在 推荐系统（用于 ， ， 等） 一直到大型强子对撞机，和列表不断出现！ GAT是空间（卷积）GNN的代表。 由于CNN在计算机视觉领域取得了巨大的成功，因此研究人员决定将其概括为图形，因此我们

神经网络 论文基于注意力机制的卷积神经网络模型源代码 要求 python2.7 keras 2.0 斯克莱恩 麻木 keras后端= theano 论文中提出一种基于注意力机制的卷积神经网络模型 文件说明： 先生：电影评论数据集，分为两个文件，一个正向评论，一个负向评论。每个评论文件中每一行对应一条评论句con_att.py：模型的主要文件data_loader.py：数据加载与初步word_vectors.save：针对数据集生成的词向量文件 运行模型 模式接收两个参数：模式：最大音量内部：内部外部 运行ACNN-INNER：python con_atten.py注意内部运行ACNN-OUTER：python con_atten.py至少关注外部运行CNN：python con_atten.py max内部 自己运行需要修改的地方 将文件con_atten.py中第38,65行左右的

构建一个四层神经网络识别手写体数据集MNIST，然后将注意力模块CBAM插入到网络的第一层之后，查看注意力模块的性能。可以改变CBAM模块插入的位置，做到任意插入。

文本序列中各单词的重要程度以及其之间的依赖关系对于识别文本类别有重要影响.胶囊网络不能选择性关注文本中重要单词,并且由于不能编码远距离依赖关系,在识别具有语义转折的文本时有很大局限性。

bert的PPT byJacob Devlin. bert的第一作者， Google AI大佬

在人类中，注意力是所有感知和认知操作的核心属性。考虑到我们处理竞争性信息来源的能力有限，注意力机制选择、调整和关注与行为最相关的信息。

B站讲解视频的PPT https://www.bilibili.com/video/BV1SA41147uA/

汇总了自Non-local和SENet之后的十几篇发表于CVPR/ICCV的经典的注意力方法，包括cbam、a2net、psanet、danet、apcnet、sknet、ccnet、gcnet、annnet、ocrnet、sanet、ecanet

Implementations for a whole family of attention-mechanisms, tailored for many-to-one sequence tasks and compatible with TensorFlow 2.0 with Keras integration.

实时目标检测算法YOLOv3的检测速度较快且精度良好，但存在边界框定位不够精确、难以区分重叠物体等不足。提出了Attention-YOLO算法，该算法借鉴了基于项的注意力机制，将通道注意力及空间注意力机制加入特征提取网络之中，使用经过筛选加权的特征向量来替换原有的特征向量进行残差融合，同时添加二阶项来减少融合过程中的信息损失并加速模型收敛。通过在COCO和PASCAL VOC数据集上的实验表明，该算法有效降低了边界框的定位误差并提升了检测精度。相比YOLOv3算法在COCO测试集上的mAP@IoU[0.5：0.95]提升了最高2.5 mAP，在PASCAL VOC 2007测试集上达到了最高81.9 mAP。