跨模态检索指的是：根据一个模态的查询样本，在另一个模态上搜索相关的样本。
例如，给出一张图像，去检索包含相同对象或主题的文本描述；或是给出一段文本，去检索带有其描述对象的图片。
但由于各模态之间具有不同的数据表现形式，所以不同模态的样本间并不能直接进行相似性比较。
以Pascal Sentence数据集为实力，用pytorch写一个demo
文章链接：https://blog.csdn.net/zzpl139/article/details/128372023
2022-12-21 09:27:59
56KB
1
单模态和跨模态检索任务
依存关系
我们建议对以下软件包使用Anaconda：Python 2.7， （> 0.1.12）， （> 1.12.1），
朋克句子分词器：
import nltk
nltk . download ()
> d punkt
下载资料
在此示例中，我们使用MSCOCO图像标题作为数据集，对于单个模型（图像或文本），您只能使用图像/文本作为训练数据，皮质模态检索与单个模态检索共享相同的框架。 您可以从MSCOCO图像字幕网站下载数据，或从和下载预先计算的图像功能。 要使用完整的图像编码器，请在，和从其原始来源下载图像。
wget http://www.cs.toronto.edu/~faghri/vsepp/vocab.tar
wget http://www.cs.toronto.edu/~faghri/vsepp/data.tar
wget http:/
2022-02-26 17:17:35
1.28MB
1
随着互联网上多媒体数据的爆炸式增长,单一模态的检索已经无法满足用户需求,跨模态检索应运而生。跨模态检索旨在以一种模态的数据去检索另一种模态的相关数据,其核心任务是数据特征提取和不同模态间数据的相关性度量。
2021-08-15 01:59:07
3.62MB
1
近年来，由于多模态数据的快速增长，跨模态检索受到了研究者的广泛关注，它将一种模态的数据作为查询去检索其它模态的数据。
2021-03-25 19:13:53
2.18MB
1
Self-Supervised Adversarial Hashing Networks for Cross-Modal Retrieval(CVPR2018)
2021-03-02 20:21:41
1.13MB
1