VLMEvalKit 评测InternVL2及Qwen2VL实践
输入“/”快速插入内容
VLMEvalKit 评测InternVL2及Qwen2VL实践
VLMEvalKit 评测InternVL2及Qwen2VL实践
5月19日修改
2024年9月1日创建
#腾讯会议：640-900-694
时间：9 月 15 日 19:00
多模态兴趣小组加入门槛：输出一篇高质量 InternVL2 、VLMEvalKit 相关文章、完成第三期书生大模型实战营 InternVL 课程的任务，即可私聊浦语小助手（微信搜索：InternLM）即可加入多模态兴趣小组。
一、InternVL2简介
InternVL2是由上海人工智能实验室OpenGVLab发布的一款多模态大模型，其中文名称为“书生·万象”。该模型在多学科问答（MMMU）任务上表现出色，成为国内首个在该任务上性能突破60的模型，被誉为开源多模态大模型性能的新标杆。
InternVL2主要功能
InternVL 2.0 具有各种指令调整模型，范围从 10 亿到 1080 亿个参数。与最先进的开源多模态大型语言模型相比，InternVL 2.0 超越了大多数开源模型。它在各种功能上展示了与专有商业模式相当的竞争性能，包括文档和图表理解、信息图表 QA、场景文本理解和 OCR 任务、科学和数学问题解决，以及文化理解和集成多模式功能。
InternVL 2.0 使用 8k 上下文窗口进行训练，并利用由长文本、多张图像、医疗数据和视频组成的训练数据，与 InternVL 1.5 相比，它显着提高了处理这些类型输入的能力。
如图所示，InternVL2 采用与 InternVL 1.5 相同的架构，特别是各种现有研究中引用的 ViT-MLP-LLM 配置。
InternVL2模型在多个基准测试中表现优异，例如在中文多模态大模型SuperCLUE-V基准测试中，InternVL2-40B模型获得了70.59分，排名第二。这表明该模型在处理多模态数据和跨学科问题方面具有较高的能力。
二、Qwen2VL简介
Qwen2-VL是阿里巴巴达摩院开源的视觉多模态AI模型，具备高级图像和视频理解能力。Qwen2-VL支持多种语言，能处理不同分辨率和长宽比的图片，实时分析动态视频内容。Qwen2-VL在多语言文本理解、文档理解等任务上表现卓越，适用于多模态应用开发，推动了AI在视觉理解和内容生成领域的进步。