- InternLM2 技术报告
- 摘要
- 1. 介绍
- 2. 基础设施
- 2.1 InternEvo
- 2.2 模型结构
- 3. 预训练
- 3.1 预训练数据
- 3.1.1 文本数据
- 3.1.2 代码数据
- 3.1.3 长上下文
- 3.2 预训练设置
- 3.2.1 分词(Tokenization)
- 3.2.2 预训练超参数
- 3.3 预训练阶段
- 3.3.1 4k 上下文训练
- 3.3.2 长上下文训练
- 3.3.3 特定能力增强训练
- 4. 对齐
- 4.1 监督微调
- 4.2 基于人类反馈的条件在线强化学习COOL RLHF
- 4.2.1 条件奖励模型
- 4.2.2 Online RLHF
- 4.2.3 PPO 训练细节
- 4.3 长文本微调
- 4.4 工具增强的LLMs
- 5. 评测分析
- 5.1 概述
- 5.2 在下游任务上的表现
- 5.2.1 综合考试
- 评估结果
- 5.2.2 语言和知识
- 评估结果
- 5.2.3 推理和数学
- 推理
InternLM2 技术报告
InternLM2 技术报告
2024年3月28日创建
4374
社区圆桌时间:4 月 6 日 20:00
腾讯会议:985-315-617
欢迎大家社区小伙伴加入一起进一步的翻译和润色!!!
加载失败,
加载失败,