- 5月 AGI技术月报 上篇
- 播客|科技巨头们开始抢电?聊聊AI用电荒和核聚变创业热
- 飞腾、鲲鹏、海光、龙芯、兆芯、申威国产CPU处理器
- 优化微调语言模型的GPU利用率
- 单节点8xA800跑起来HuggingFace DeepSeek V2踩坑
- 抢电、圈地、对赌,深聊科技巨头的千亿美元AI能源大战
- 如何通过租用GPU赚钱超过Nvidia的销售收入
- GPU算子计算与调度技术
- 在Hacker News上探讨经济实惠的硬件用于本地运行大型语言模型
- GPUs Go Brrr
- CuTe与Triton
- 在Hopper GPU上实现CuBLAS 90%性能的GEMM
- 在GPU上加速RWKV6模型的Linear Attention计算
- 终极GPU互联技术探索:消失的内存墙
- 在英特尔至强 CPU 上使用 🤗 Optimum Intel 实现超快 SetFit 推理
- [CUDA 学习笔记] GEMM 优化: 双缓冲 (Prefetch) 和 Bank Conflict 解决
- 初始化神经网络
- LLM Serving有效吞吐量的最大化实现
- 克苏鲁AI的技术细节
- AI模型比较:质量、性能和价格
- 用 LangChain、OpenAI 和 Pinecone 为你的博客构建一个 RAG 通道
- 对于AI对齐的诠释与思考
- cuda的ldmatrix指令的详细解释
- OpenAI的光环出现裂痕:谈GPT4o的token词表更新问题
- 聊聊大模型推理服务中的优化问题
- 生成扩散模型漫谈(二十四):少走捷径,更快到达
- LLMOps
- 新兴的AI AgentOps景观:建设者的视角
- 缓存与效果的极限拉扯:从MHA、MQA、GQA到MLA
- 提升GPT-4功能调用准确性
- 原理&图解vLLM Automatic Prefix Cache(RadixAttention): 首Token时延优化
- Flash Attention (GPT2 implement)
- StarCoder2-Instruct: 完全透明和可自我对齐的代码生成
- PyTorch加速LLAMA3技术详解
- Llama-3的10个创新应用案例
5月 AGI技术月报 上篇
5月 AGI技术月报 上篇
2024年9月10日修改
播客|科技巨头们开始抢电?聊聊AI用电荒和核聚变创业热
太长不看版
「AI用电荒」
1.
AI耗电现状:美国的AI数据中心耗电量已经达到了纽约市的用电量,占美国总电量的2.5%。
2.
未来电力需求预测:预测显示,AI的用电量在未来几年内可能会翻倍,从目前占美国总电量的2.5%增长到7.5%或更高。
3.
AI用电的特殊性和波动性:AI的用电特征与传统负载不同,会出现短时间内的剧烈波动,这对电网稳定性构成挑战。
4.
美国电力行业面临的挑战:未来三五年内,AI的增长可能会与居民用电需求产生冲突,导致电力短缺。
5.
AI与能源转型的负担:AI的增长意外地加重了能源转型的负担,电力供应可能成为AI发展的瓶颈。
6.
硅谷公司数据中心布局:硅谷公司在短期内通过抢占现有电网容量来满足数据中心的电力需求,长期则考虑与电力公司合作,提前规划基础设施。
7.
中国电力供应结构:中国拥有多样化的发电方式和较好的基础设施建设能力,这为数据中心的建设和电力供应提供了优势。
「能源现状与解决办法」
1.
中国核能规划:中国的核能发展采取“三步走”策略,包括热堆、快堆和核聚变堆的发展。
2.
科技巨头的新难题:在发展AI的同时,科技巨头需要考虑气候变化问题,这增加了成本和复杂性。
3.
AI能源消耗减少的可能性:随着AI训练数据的耗尽或GPU效率的提高,AI的能源消耗有可能减少。
4.
核能的潜力:核能,包括核裂变和核聚变,作为未来能源解决方案的潜力被对比分析。
5.
核裂变与核聚变的选择:核裂变技术相对成熟,但存在原材料和核废料处理问题;核聚变则被视为更清洁、更可持续的能源解决方案。
6.
核聚变发电的时间表:尽管科学问题已接近解决,但核聚变发电的商业化仍面临巨大的成本挑战。
7.
Helion Energy与微软的对赌协议:Helion Energy承诺在2028年为微软提供50MW的电站,价格为每度电一美分。
附件不支持打印