邬嘉文：大模型应用层
邬嘉文：大模型应用层
Transformer决定边界
在CES 2024，李飞飞在争论LLM和AIGC名称不能混用，吴恩达觉得在公众传播没关系。李飞飞觉得难以接受，个人猜测是它模糊了大模型的本质。
在公众传播层面：
•
AIGC：指用Stable Diffusion或Midjourney生成图像内容，后来泛指用AI生成音乐、图像、视频等内容。
•
LLM：指NLP领域的大语言模型，如ChatGPT。
•
GenAI：生成式人工智能模型，国内官方政策文件使用这个词相对科学，涵盖了LLM和AIGC。
•
AGI：指通用人工智能，部分人觉得LLM具有AGI潜力，LeCun反对。
公众传播一般会混用上述名词，但底层是transformer结构。
（stable diffusion原采用LDM+UNet，后来改为DiT）
画板
而transformer底层是function loss损失函数
•
Transformer是一个大参数（千亿级别）的回归方程。
•
回归方程的Function loss拟合A to B mapping关系，实现数据集的压缩与还原。