奇绩大模型日报（4月 10日）
输入“/”快速插入内容
奇绩大模型日报（4月 10日）
奇绩大模型日报（4月 10日）
2024年4月10日修改
特别活动
推特
Anthropic AI语言模型说服力的测量：每一代模型的说服力都比前一代模型更高
长期以来,人们一直在质疑AI模型是否会在某个时刻变得像人类一样有说服力,能够改变人们的想法。但是,关于模型规模与模型输出说服力之间关系的实证研究还比较有限。为了解决这个问题,我们开发了一种基本方法来衡量说服力,并用它来比较Anthropic的各种模型,这些模型跨越了三个不同的代(Claude 1、2和3)和两个类别的模型(更小、更快、更具成本效益的紧凑型模型,以及更大、更强大的前沿模型)。
在每一类模型(紧凑型和前沿型)中,我们发现了一个明显的跨代模型的缩放趋势:每一代模型的说服力都比前一代模型更高。我们还发现,我们最新、最强大的模型Claude 3 Opus生成的论点在说服力方面与人类写的论点没有统计学上的差异(图1)。
在家里运行Command-R+模型！Carrigan分享教程
首先,关于硬件的说明:文本生成受内存带宽的限制。这可以在任何具有64GB或更多内存的机器上运行,但如果你想要速度,我建议使用DDR5,最好是在8通道或甚至12通道主板上,如Xeon/Epyc/Threadripper Pro/苹果芯片。
为了开始,我们将构建最新版本的llama.cpp。
接下来,我们将获取GGUF格式的压缩Command-R+模型和权重。在这里:https://huggingface.co/dranger003/c4ai-command-r-plus-iMat.GGUF/tree/main... 下载你能装入RAM的最大尺寸,可能需要8-16GB的空间(所以在64GB时,尝试iq3_m或iq3_s,大约48GB)。更大的尺寸是分割的。
现在,让我们使用Command-R+附带的聊天模板准备我们的聊天。安装transformers,然后在Python中运行这个。你可以随意更改聊天内容。
结果是格式化的聊天,准备好传给llama.cpp。将其粘贴到llama.cpp目录中./main的-p参数中,并将你的GGUF文件传递给-m。-n是最大响应长度,以令牌为单位。
现在只需按回车键,然后...
为了获得更高的性能,你可以增加更多的内存带宽或使用BLAS支持编译llama.cpp。你还可以使用Python绑定来完成整个过程,这样你就不必来回粘贴了。就是这样:在家中运行GPT-4!
另外,请注意,在较小的量化中,模型会变得更蠢。如果你在iq2上尝试这个,它给你一个可怕的答案,不要怪我!你可能需要128GB的RAM才能装下更高质量的Q6和Q8量化。
UMD教授 Soheil Feizi 讲授深度学习基础:大型语言模型,第二部分
这是我的大语言模型(LLM)讲座的第二部分: