多模态模型资料​

2024年6月27日修改
1.
排行榜​
•
https://github.com/BradyFU/Awesome-Multimodal-Large-Language-Models.git​
2.
综述​
•
A Survey on Multimodal Large Language Models，仓库即上面的 Git 链接​
◦
多模态模型包括 Modality encoder、Pretrained LLM、Modality interface​
3.
MLLM​
3.1
LLaVA​
分析：【LLM多模态】LLava模型架构和训练过程 | CLIP模型_llava数据构造-CSDN博客​
两阶段训练，先训 Connector 然后再端到端训练，Connector 使用的是 MLP​
3.2
InstructBLIP​
分析：【BLIP/BLIP2/InstructBLIP】一篇文章快速了解BLIP系列(附代码讲解说明)-CSDN博客​
特点是用了三种 Loss，有对比学习、二分类和生成任务​
3.3
Qwen-VL​
分析：【LLM多模态】Qwen-VL模型架构和训练流程_position-aware vision-language adapter​
训练过程都是使用生成任务，分阶段训练​
​
飞书文档 - 图片
​