中国大模型面临的真实问题：登顶路远，坠落一瞬
输入“/”快速插入内容
中国大模型面临的真实问题：登顶路远，坠落一瞬
中国大模型面临的真实问题：登顶路远，坠落一瞬
2024年11月4日修改
1121
1194
“现在的国内大模型和 AI 创业公司就是在走钢丝，稍微不注意就万劫不复”。
这句话是我在看完十一财经那篇《中国大模型产业的五个真问题》后的内心独白。
虽然我现在已经转向研究领域，但这篇文章可以说是振聋发聩，今天我想借着这篇文章的部分内容讲一讲之前我看到的，听到的真实现象，讲讲行业内一些鲜为人知的故事。
一、从 "超级烂车"到"超级跑车"
人工智能在 2023 年掀起了惊涛骇浪。OpenAI 推出 ChatGPT 后，中国科技界迅速做出反应。短短几个月内，中国公司如雨后春笋般推出了自己的大语言模型。到 2023 年底，这个数字已经突破 130 个，展现了中国在 AI 领域的雄心和实力。
然而，回溯 ChatGPT 问世之前的科技格局，我们会发现一个有趣的现象：产业界和投资界对 OpenAI 的前景普遍持怀疑态度。这种普遍的质疑声并未动摇 OpenAI 的决心。他们坚持自己的方向，最终用实际成果证明了自己的远见。
过去，大模型研发的低迷常被归因于结果的不确定性。然而，ChatGPT 的横空出世彻底改变了这一局面。如今，大模型的潜力已经得到了充分证实，各大公司纷纷加大在算力、数据和人才方面的投入。
中国企业向来以工程优化见长。这种优势让许多人对国内大模型的快速应用充满期待。他们认为，能够实际落地的大模型产品指日可待。但现实是否如此简单？
回顾 OpenAI 的发展历程，我们会发现一个关键因素：坚定的方向。对 OpenAI 而言，大模型从未是一个摇摆不定的选项，而是一条笔直的道路。他们将大部分资金投入到算力上，尤其是在英伟达 A100 芯片价格相对较低的时期。这种前瞻性的投资策略，为他们后来的成功奠定了基础。
这种做法让人想起了亚马逊创始人杰夫・贝索斯的一句名言："发明需要长期思维。"OpenAI 的成功不仅仅是技术的突破，更是战略眼光和长期投入的结果。
OpenAI 的成功背后，是一场惊人的资源调动。根据第三方数据机构 Sami Analysis 的估算，OpenAI 的硬件配置令人瞠目结舌：约 3,617 台 HGX 100 服务器，搭载近 3 万块英伟达 GPU。这个数字足以让任何科技爱好者心跳加速。
然而，这仅仅是冰山一角。投资方微软的支持更是锦上添花，为 OpenAI 量身打造了定制化的算力集群，进一步提升了 GPU 的效率。这种深度定制化的 Approach，犹如为一辆超级跑车配备了专属的赛道。
在数据方面，OpenAI 的投入同样令人惊叹。从数据收集、标注、清洗、整理到优化，每一个环节都得到了持续而深入的关注。人才方面，OpenAI 汇聚了一批来自顶尖科研机构和科技巨头的精英。这支梦之队的组建，仿佛是在为 AI 领域的 "登月计划" 招募宇航员。
然而，即便有如此雄厚的财力、实力和持续的投入，OpenAI 仍然用了超过 8 年的时间才打造出突破性的产品 GPT-4。更值得注意的是，即便是如此先进的系统，仍然面临着幻觉问题这一难以彻底解决的挑战。
但是，有一个令人困惑的现象引起了广泛关注：为何中国公司能在短短几个月内推出据称可与 GPT-4 匹敌的大模型？这种 "神速" 背后，究竟是技术的突飞猛进，还是另有隐情？
二、“你不套，有的是人套”
让我们从模型本身这个问题开始剖析。
2023 年下半年，一个不容忽视的事实浮出水面：部分声称性能卓越的中国大模型被揭露为 "套壳" 产品。这些模型实际上是直接采用了国外的开源大模型，经过简单包装后就宣称具备与 GPT-4 相当的能力。在一些评估大模型能力的榜单上，这些 "套壳" 模型往往名列前茅，多项指标甚至接近 GPT-4 的水平。
更令人深思的是，一个奇怪的现象开始显现：在这些榜单上，模型的表现越好，被证实为 "套壳" 的可能性就越高。稍加调整，这些模型的性能就会显著下降。然而，"套壳" 问题仅仅是中国大模型产业现状的冰山一角。这个现象揭示了更深层次的问题：在追求快速结果的压力下，一些公司选择了捷径，而非踏实的技术积累。
2023 年 11 月，一个引人注目的事件震动了 AI 圈：李开复创办的 "零一万物" 被国外开发者质疑为 "套壳" 产品。他们指出，该模型疑似只是对开源模型 Llama 进行了简单的重命名。这一指控如同一颗重磅炸弹，引发了广泛的讨论和反思。
面对质疑，李开复和 "零一万物" 团队迅速做出回应。他们承认在训练过程中确实沿用了开源架构，但强调这只是为了快速起步，进行充分的测试和对比实验。他们坚称，其发布的模型都是从零开始训练的，并进行了大量原创性的优化和突破。
继“零一万物”之后，12 月，一则震惊业界的消息传出：科技巨头字节跳动被曝出在其秘密研发的大模型项目中调用了 OpenAI 的 API，并使用 ChatGPT 的输出数据来训练自己的模型。这一行为，恰恰触犯了 OpenAI 使用协议中明确禁止的条款。
OpenAI 的反应迅速而坚决。他们立即暂停了相关账号，并表示将进行进一步调查。如果指控属实，OpenAI 可能会要求字节跳动更改其做法，甚至可能终止其账户。这种严厉的态度，展现了 OpenAI 对其技术和知识产权的坚决保护。
面对这一指控，字节跳动的回应颇具策略性。他们承认在 2023 年初，技术团队在大模型探索的初期确实有部分工程师将 GPT 的 API 服务应用于较小模型的实验性项目研究中。然而，他们强调这个模型仅用于测试，从未计划上线或对外使用。更重要的是，字节跳动表示，自 2023 年 4 月公司引入 GPT API 调用规范检查后，这种做法就已经停止了。
其实，不光是这些在 23 年披露出来的国内事件，在 24 年也有更多被指“套壳”国内大模型的事件，比如说斯坦福大学 AI 团队主导的 Llama3-V 开源模型，被证实套壳抄袭国内清华与面壁智能的开源模型。这些现象其实背后都指向了大模型的建设方式。
在这里，我们粗浅地将大模型的建设方式分为三类：
1.
第一类是原创大模型。这类模型就像是 AI 世界中的 "独角兽"，稀少而珍贵。创造原创大模型需要强大的技术积累，同时还需要持续的高投入。然而，这条路充满风险。正如马斯克所说："当某件事情足够重要时，即使概率对你不利，你也要去做。" 原创大模型的开发者们正是秉持着这种精神，在未知的领域不断探索。但是，一旦模型未能展现出足够的竞争力，这些大规模的投入就可能付诸东流。
2.
第二类是套壳开源大模型。这种策略反映了一种务实的发展路径，利用现有资源快速迭代和改进。在这条“赛道”上，需要思考如何在借鉴中实现真正的突破和创新。
3.
第三类是拼装大模型。这种方法将过去的小模型拼接在一起，形成一个参数量看似很大的大模型。这种策略体现了一种独特的创新思维，试图通过整合已有资源来实现质的飞跃。然而，正如系统理论所示，整体的性能并不仅仅是各部分的简单相加。
在这三类模型中，原创大模型的数量最少，也最具挑战性。它们需要强大的技术积累、持续的高投入，以及面对巨大风险的勇气。然而，当市场上已经出现了足够好的基础大模型时，其他公司应该转向挖掘新的价值点。比如，探索大模型在不同领域的应用，或者开发中间层服务，如训练、数据处理、算力服务等。但现实是，大多数参与者仍在追逐所谓的原创大模型，又担心风险太高，导致大量套壳和拼装大模型的出现。
事实上，无论是直接使用开源大模型还是拼装大模型，只要符合相关规范，都是可以接受的。在商业化落地时，客户往往更关注实用性而非原创性，有时甚至会因为成本较低而更倾向于选择非原创技术。可问题在于，即使是拼装和套壳，许多公司仍不断强调自己是原创的。为了证明这一点，他们不断进行调整和修改，这反而影响了大模型的迭代能力，逐渐陷入内耗、刷榜和作假的境地。
三、是真的被“卡脖子”，还是不想换条“新领带”？
大规模算力投资带来的重大问题是：它会使公司转变为重资产模式。这种转变就像是一艘灵活的帆船突然变成了一艘庞大的油轮，虽然力量增强，但失去了灵活性。在当今瞬息万变的科技市场中，这种转变可能会对公司的估值产生不利影响，进而直接影响投资人的收益。
尽管美国政府实施了“卡脖子”策略，但对中国公司而言，获得英伟达的算力并非完全不可能。光我自己听说的渠道就多达好几种。然而，无论选择哪种方式，获得高端 GPU 都是一项巨大的投资。除了 GPU 本身的高昂价格外，后续的部署、运营、调试和使用都将产生可观的成本。这么看，高性能算力的获取和使用，无疑是一项需要深思熟虑的重大决策。
有意思的是，这两年中国的 AI 投资圈出现了一种有趣的现象。许多投资人会直接告诉大模型的创业者一个看似矛盾的策略：