奇绩大模型日报（10月 1-7日国庆特刊）
输入“/”快速插入内容
奇绩大模型日报（10月 1-7日国庆特刊）
奇绩大模型日报（10月 1-7日国庆特刊）
2024年10月8日修改
资讯
奥特曼：自认比o1聪明请举手🤚到o2还这么想么🤨？
在本次对话中，OpenAI首席产品官Kevin Weil和奥特曼（Sam Altman）就未来人工智能的发展趋势和技术创新进行了深入探讨。奥特曼预测，未来十年内将实现无限上下文长度，并认为智能体（Agents）技术将推动AI应用的广泛普及。人们会要求AI在极短时间内完成过去需要数月或数年的工作，最终每个人将拥有数十甚至数千个智能体。
此外，奥特曼特别强调了对科幻设想的关注，并指出这是AI发展过程中不可忽视的重要问题。
在活动中，OpenAI宣布了多项API更新：
1.
实时语音API：开放测试版，所有开发者都能在自己的APP中实现与ChatGPT高级语音模式类似的体验。语音输入每分钟收费0.06美元，语音输出每分钟收费0.24美元。语言学习应用Speak已率先采用此功能开发AI角色扮演练习模式。
2.
视觉微调API：开发者可通过上传少量图像对GPT-4o进行微调，以提升其在特定视觉任务中的表现，如物体检测、医学图像分析等。只需使用100张图像即可显著提升模型性能，微调费用为每百万tokens 25美元。
3.
自动提示词缓存功能：在多个API调用中自动缓存相同上下文，从而降低推理延迟与成本。该功能已适配GPT-4o和o1系列模型，并对已见过的tokens提供五折优惠。
4.
模型蒸馏API：允许开发者用前沿模型（如GPT-4o）的输出对小型模型（如GPT-4o mini）进行微调，大幅简化了以往多步骤、易出错的蒸馏流程。该功能通过集成工作流程自动生成输入-输出对并完成微调。
在现场演示环节，GPT-4o驱动的实时语音API结合Twillio实现了电话订购草莓甜点的功能。此外，最新发布的o1模型在无人机编程操控方面也展现了强大的推理能力。
活动结束后，OpenAI离职高管的去向引发了广泛关注。前研究副总裁Barret Zoph计划成立新公司，前CTO Mira Murati也受到投资人的热捧。与此同时，前OpenAI联合创始人Durk Kingma宣布加入Anthropic团队。
今年的OpenAI开发者日与去年不同，没有全程直播，并在美国、英国和新加坡分地点举行。OpenAI在活动上强调了其在API生态上的多项技术进展，展示了模型推理和应用场景的最新成果。
OpenAI重磅发布Canvas：跟ChatGPT一起写作编程
OpenAI 最近发布了全新的创作和编程界面——Canvas，与ChatGPT合作的增强交互功能引发广泛关注。该功能由OpenAI的GPT-4o模型提供支持，用户需在模型选择栏中选择“GPT-4o with canvas”才能使用。
Canvas模式打破了传统对话框架，为用户提供了编辑、创作和编程的新方式。它允许用户对生成内容进行二次创作和编排，就像使用文案或代码编辑器一样。用户可以通过右下角的“编辑”按钮，使用五个主要功能进行操作：编辑建议、调整上下文长度、改变阅读水平、添加最终润色以及添加表情包。用户可选择要修改的内容片段，并进行细节上的重新生成和微调。这种模式不仅提高了创作效率，也让内容生成变得更具灵活性和可控性。
Canvas功能迅速引起了业界的高度评价。沃顿商学院教授Ethan Mollick认为，这种模式让ChatGPT更像是一个协作同事，而不是简单的聊天机器人。许多网友也认为这是今年ChatGPT最大的更新之一。
除了文本创作，Canvas在编程方面也提供了审查代码、添加日志、添加注释、修复bug和转换语言等功能。用户可以选择代码片段，让模型按照要求修改代码，甚至手动更改特定细节。转换编程语言的功能支持多种语言，包括JavaScript、Python、Java等。
Canvas的推出提升了用户与AI模型的交互体验。通过自动化内部评估和合成数据生成技术，OpenAI实现了更高效的模型调优。Canvas模式的生成质量比带有提示指令的GPT-4o高出30%的准确率，质量提升16%。
目前，Canvas面向ChatGPT Plus和Team用户开放，并将在下周扩展到Enterprise和Edu用户。虽然与Claude的Artifacts功能有些相似，但Canvas在写作和编程的细节处理上更进一步。总体来看，Canvas为AI创作与编程提供了更为全面的支持，成为OpenAI生态中的重要创新。
Meta将智能眼镜与人脸搜索结合引发隐私担忧
在AI技术的推动下，Meta的虚拟现实（VR）头显Quest 3S和增强现实（AR）眼镜Orion备受瞩目。此外，Meta还宣布升级其雷朋（Ray-Ban）智能眼镜，新增AI功能，预计今年出货量将突破200万台。尽管这款眼镜在消费市场上大获成功，但隐私问题一直备受关注，尤其是设备可能被滥用及数据使用透明度的质疑。
哈佛大学的两名学生安福·阮（AnhPhu Nguyen）和凯恩·阿达菲奥（Caine Ardayfio）通过实验展示了这种隐私风险。他们将Meta的雷朋智能眼镜与人脸搜索引擎PimEyes相结合，开发了一个名为I-XRAY的系统。该系统能够通过捕捉路人的人脸信息，在几秒钟内收集目标的个人隐私数据，包括姓名、地址和电话号码。在地铁站测试中，他们成功识别了数十位路人的身份，并利用这些信息假扮熟人进行互动。
这项实验引发了对隐私保护的广泛担忧。尽管两位学生没有公开系统代码，但他们希望借此研究提高公众对隐私泄露的警惕，并提供了从PimEyes等平台移除个人信息的指南。
Meta在使用AI训练数据的政策上也引发争议。其政策表明，所有经过AI分析的图像，包括通过智能眼镜采集的内容，都可能被用于模型训练。此外，Meta还推出了实时视频分析功能，能够在未明确告知用户的情况下持续将图像传输给AI模型进行处理。该公司此前因Facebook平台上的面部识别技术问题支付了14亿美元和解金，而其现行的隐私政策仍默认储存所有通过Ray-Ban设备记录的语音对话，用于训练未来的AI模型。
这一系列隐私事件凸显了智能设备、AI技术与个人隐私保护之间的复杂关系。在欧盟，《通用数据保护条例》（GDPR）对面部识别数据的收集进行了严格限制，但在美国，由于缺乏统一的隐私法律，此类技术更容易被滥用。
Reflection-70B模型发布后的技术反思
基准测试分数复现过程：
•
复现流程：使用相同的评估框架、提示词和输出提取方法来复现初始的基准测试分数，并修复系统提示的差异。
•
工具和资源：提供了模型权重、训练数据、训练脚本和评估代码（相关链接见文末），供社区成员验证模型性能。