奇绩大模型日报（10月 15日）
输入“/”快速插入内容
奇绩大模型日报（10月 15日）
奇绩大模型日报（10月 15日）
2024年10月15日修改
🔉潜空间活动报名
🎉
潜空间系列活动重磅回归！
本期活动将在10月20日 10:00开始，我们邀请到的嘉宾是袁进辉，硅基流动（SiliconFlow）创始人兼CEO，曾任微软亚洲研究院主管研究员，获得微软亚洲研究院院长特别奖。硅基流动目前专注于 AI Infra 领域，解决大模型训练与推理的效率问题，降低 AI 应用开发的门槛与成本。在本次分享中袁进辉将带来《AI Infra 创业10年得与失》的分享。
除嘉宾分享外，每期设置了【匹配合伙人 Cofounder Matching】环节。你可以和 GenAI 时代最有活力的创业者和研究者线下面对面交流，将有机会找到志同道合、有共同创业梦想的小伙伴。
报名通道已开启，欢迎扫描下方二维码报名。
资讯
Google与Kairos Power签署合作协议，利用微型核反应堆为数据中心供电
谷歌近日宣布与核能初创公司Kairos Power达成合作协议，计划建设7座小型反应堆，为其数据中心提供约500兆瓦的无碳电力。这些核电站预计将在2030年之前上线，以应对数据中心和人工智能对电力需求的急剧增长。虽然具体是直接为谷歌的数据中心供电，还是通过电网供应尚不明确，但这一合作标志着谷歌加入了微软和亚马逊等科技巨头，开始转向核能以满足其日益增长的电力需求。
尽管Kairos的目标是2030年投入运营，但核电项目建设通常面临巨大的挑战。Kairos计划使用小型模块化反应堆（SMR）技术，该技术通过模块化制造和快速施工降低成本和时间。Kairos的反应堆采用熔盐冷却技术，而非传统的水冷方式，已获得美国核监管委员会的批准进行35兆瓦示范反应堆建设。
然而，尽管Kairos取得了监管进展，但面临的挑战依然巨大。SMR的经济性尚未得到商业验证，此外，公众对核能的支持也不稳定，尤其是在选址问题上仍存在较大争议。相比核能，公众对风能和太阳能的支持率更高，这也为核能项目的推进增添了不确定性。
OpenAI挖走微软生成式AI研究主管
OpenAI从微软挖来了生成式AI研究的副总裁塞巴斯蒂安·布贝克（Sebastian Bubeck），这一变动首先由《The Information》报道，并得到路透社的确认。布贝克是微软Phi模型系列的主要作者之一，这些小型语言和视觉模型旨在推动AI应用进入边缘设备。这种技术正变得越来越重要，尤其是在某些市场中，离线、快速处理的设备端模型逐渐取代了大型集中式模型，如OpenAI的GPT-4。
布贝克的新角色尚未公开，但很可能他将在OpenAI致力于提高AI模型的效率及开发小型模型——这是目前OpenAI尚不占据主导地位的AI领域。
迟分是什么，不是什么【下篇】
文章主要深入探讨了迟分策略（Late Chunking）与其相关的概念和技术细节。作者建议先阅读上一篇文章《长文本 Embedding 模型中的“迟分”策略》以及研究论文，以便更好地理解迟分在处理长文档时的重要性。
核心问题包括两个方面：
1.
边界断点如何确定：可以使用固定长度的 Token、固定数量的句子，或者使用语义分割模型，如 Jina 的 Segmenter。
2.
上下文信息的丢失：在分块向量化的过程中，容易丢失全局上下文信息。
传统解决方案多集中在边界检测上，如语义分块，通过确保相似度高的句子在一起，最大程度上保留语义完整性。然而，文章认为第二个问题——上下文信息丢失更为关键。
迟分策略的主要目的是解决上下文信息丢失问题。与其他分块方法不同，迟分采取了“先向量化后分块”的方式。具体而言，它先对整个文档进行编码，然后再基于边界线索进行均值池化操作。这样可以确保全局上下文信息不会在向量化过程中丢失，且对分块边界的精确性要求也不高。
实验表明，迟分策略对不同大小的向量模型（如 jina-embeddings-v2-small、nomic-v1、jina-embeddings-v3）在不同数据集上都有稳定的性能提升。尽管迟分有效，但向量模型的质量依然是决定最终性能的关键因素。通过相对基线模型的比较，迟分策略在边界线索的使用上表现出对模型性能的显著改进。