人类通过多种感觉器官接触世界，例如眼睛、耳朵、触觉。多模态机器学习(Multimodal Machine Learning)研究包含不同模态数据的机器学习问题。常见的模态包括：视觉、文字、声音。

社交事件检测 随着社交媒体内容的激增，查找与感兴趣的社交事件相关的数字内容是一项艰巨的任务，需要搜索可能来自不同来源和站点的大量数据。 显然需要可以支持人类完成这项任务的算法。 在这个项目中，我们的目标是发现与事件相关的多媒体，并将它们组织在特定于事件的集群中，在 Web 多媒体集合中。 这可以为聚合和搜索应用程序提供基础，从而促进更容易地发现、浏览和查询社交事件。 数据 从获取数据 创建文件夹../res 地点 *_events.txt、metadata.xml 创建文件夹 ../res/photos 并将所有照片放入其中。 跑步 要运行的脚本顺序 过滤器.py 特征_gen.py feature_sift_gen.py 文件 距离_svm.py 集群.py 精度.py（可选） 参考 “使用多模态聚类和集成监督信号的社会事件检测”，Georgios Petkos、Symeo

使用 Matlab 和 GPU 的向量化长短期记忆 (LSTM)

基于无人机平台多模态数据融合的小麦产量估算研究_张少华.caj

此功能将执行恶魔配准，这是一种快速非刚性流体，如两个 2D 或 3D 图像之间的配准。 还支持不同 (MRI) 模态之间的配准，通过转换一个图像模态使其看起来像第二个图像的模态的功能。 Thirion 1998的论文描述了恶魔的注册，Cachier 1999和He Wang 2005对其进行了扩展。 基本算法：在每个像素上，使用强度差异和梯度信息定义速度（运动）。 该速度场由高斯平滑，并反复用于变换运动图像，并配准到静态图像。 （文件 basic_demon_example.m 中易于理解的代码示例） 我们没有使用“demonregistration”函数的基本方程，而是将其重写为由极限内存 BFGS 优化器以迭代和多分辨率方式使用，还支持扩散正则化。 （另见 Tom Vercauteren 等人。“非参数微分形态图像...”） 将一种模态转换为另一幅图像的假模态是通过使用两个图

多模态网络模型基础版本

多模态基础网络模型多分类

TK与VTK结合实现配准及可视化 使用工具：itk5.1.0、vtk8.24；编译环境：VS2019 原理：配准算法主要是基于互信息原理，针对不同模态的医学图像，可使用在MRI、PET及CT等不同模态间的配准场合

多模光纤标准

介绍之前的模型和法欢迎来到Transformer的时代1. VQA任务简介VQA 介于图像理解（CV）和然语处理（NLP）的交集。VQA 任务的的是开发出种系统