• InternLM2 技术报告
  • 摘要
  • 1. 介绍
  • 2. 基础设施
  • 2.1 InternEvo
  • 2.2 模型结构
  • 3. 预训练
  • 3.1 预训练数据
  • 3.1.1 文本数据
  • 3.1.2 代码数据
  • 3.1.3 长上下文
  • 3.2 预训练设置
  • 3.2.1 分词(Tokenization)
  • 3.2.2 预训练超参数
  • 3.3 预训练阶段
  • 3.3.1 4k 上下文训练
  • 3.3.2 长上下文训练
  • 3.3.3 特定能力增强训练
  • 4. 对齐
  • 4.1 监督微调
  • 4.2 基于人类反馈的条件在线强化学习COOL RLHF
  • 4.2.1 条件奖励模型
  • 4.2.2 Online RLHF
  • 4.2.3 PPO 训练细节
  • 4.3 长文本微调
  • 4.4 工具增强的LLMs
  • 5. 评测分析
  • 5.1 概述
  • 5.2 在下游任务上的表现
  • 5.2.1 综合考试
  • 评估结果
  • 5.2.2 语言和知识
  • 评估结果
  • 5.2.3 推理和数学
  • 推理

InternLM2 技术报告​

2024年3月28日创建
4374
论文地址:https://arxiv.org/pdf/2403.17297.pdf​
社区圆桌时间:4 月 6 日 20:00​
腾讯会议:985-315-617​
​
欢迎大家社区小伙伴加入一起进一步的翻译和润色!!!​
​

加载失败,

​
​

加载失败,

​