基于多模态视觉特征的自然人机交互，管业鹏，，针对目前人机交互中存在的问题与不足,提出了一种基于多模态视觉特征的人机交互新方法.采用二维Gabor小波提取全局人脸朝向视觉特征,�
2021-10-29 11:13:26
587KB
1
针对多模态图像融合中多尺度几何工具和融合规则设计困难的问题,提出一种基于生成对抗网络(GANs)的图像融合方法,实现了多模态图像端到端的自适应融合。将多模态源图像同步输入基于残差的卷积神经网络(生成网络),通过网络的自适应学习生成融合图像;将融合图像和标签图像分别送入判别网络,通过判别器的特征表示和分类识别逐渐优化生成器,在生成器和判别器的动态平衡中得到最终融合图像。与具有代表性的融合方法相比,实验结果表明,本文方法的融合结果更干净,没有伪影,提供了更好的视觉质量。
2021-10-26 16:25:39
12.19MB
1
模态数据库
杰伊·哈克 ( )，2014 年秋季
概述
ModalDB 是一种数据库，它允许人们有效地访问和操作包含多种数据模式的数据分层数据集。 它建立在 MongoDB 之上，最初是为斯坦福人工智能实验室的 Robobrain 项目开发的。 主要功能包括：
能够以不同方式（在内存中、在磁盘上）存储不同类型的数据（例如图像、视频、文本），同时提供对用户隐藏这一事实的无缝界面。 例如：
In [1]: video_frame['subtitles'] # loads quickly from in-memory
...
In [2]: video_frame['image'] # loads lazily from disk
能够定义数据对象的任意嵌套层次结构。 例如，“视频”可以具有关联的属性（摘要、缩略图等），同时还在内部维护“帧”的集合。 在代码中：
In [1]: im
2021-10-25 15:34:33
2.71MB
1
运行 main.m 来测试 MO_Ring_PSO_SCD。 您可以参考论文'2。 CT Yu、BY Qu 和 JJ Liang*，“使用环形拓扑解决多模态多目标问题的多目标粒子群优化器”，IEEE 进化计算汇刊。 （DOI：10.1109 / TEVC.2017.2754271），以获取有关此算法的更多说明。 这篇论文也在“MO_Ring_PSO_SCD.zip”文件中。 如果您有任何问题，请毫不犹豫地与我联系（zzuyuecaitong@163.com）。
2021-10-14 19:00:55
1.04MB
1
我们提出了一种新颖的基于地标匹配的多模态图像对齐方法，该方法是通过解决不同特征模态之间的线性映射而唯一实现的。 该线性映射导致对从不同模态捕获的图像的相似性进行新的测量。 此外，我们的方法通过最小化凸二次函数来同时解决此线性映射和界标对应关系。 我们的方法可以估计不同模态与非线性非刚性空间变换之间的复杂图像关系，即使在存在重噪声的情况下也是如此，如使用各种图像模态进行的实验所示。
2021-10-09 10:48:39
1.62MB
1