AI对内存的需求，正在以连好意思光我方王人没意意想的速率爆炸式增长。 The Circuit播客近日发布了一期对话节目，主抓东谈主专访了好意思光科技数据中心业务部门高等副总裁兼总司理Jeremy Werner。对话围绕AI时间内存与存储行业的结构性变化伸开。 Werner开门见平地默示，这一轮内存行业的繁华与以往的周期性波动有实质分歧。 内存也曾成为数据中心推理要领冲突瓶颈的要害计谋钞票，亦然考试全球最先进模子的中枢撑抓。我不以为这个趋势会放缓。 内存也曾成为数据中心推理要领冲突瓶颈的要害计谋...
AI对内存的需求，正在以连好意思光我方王人没意意想的速率爆炸式增长。
The Circuit播客近日发布了一期对话节目，主抓东谈主专访了好意思光科技数据中心业务部门高等副总裁兼总司理Jeremy Werner。对话围绕AI时间内存与存储行业的结构性变化伸开。
Werner开门见平地默示，这一轮内存行业的繁华与以往的周期性波动有实质分歧。
内存也曾成为数据中心推理要领冲突瓶颈的要害计谋钞票，亦然考试全球最先进模子的中枢撑抓。我不以为这个趋势会放缓。
内存也曾成为数据中心推理要领冲突瓶颈的要害计谋钞票，亦然考试全球最先进模子的中枢撑抓。我不以为这个趋势会放缓。
AI推理的“内存墙”：不够用就得从新算
Werner用一个直白的逻辑阐扬了为什么推理对内存的需求如斯罕见。
伸开剩余84%考试和推理对内存的使用形态迥乎不同。Werner说：“考试用内存来学习，然后渐忘，最终输出一个模子。但推理用内存来操心。”
推理历程分为两个阶段：预填充（prefill）妥协码（decode）。在解码阶段，模子需要连接调用此前的计较成果——也即是所谓的KV缓存（KV Cache）——来生成更准确的谜底。
问题在于：若是内存不够存下这些历史状态，模子就必须从新从新计较。Werner阐扬了这意味着什么：
每一轮从新计较，所需的算力很是于此前统统轮次的总额。也即是说，算力需求是指数级增长的。而若是你能存下上一轮的状态，每一轮只需要线性地多作念一步。
每一轮从新计较，所需的算力很是于此前统统轮次的总额。也即是说，算力需求是指数级增长的。而若是你能存下上一轮的状态，每一轮只需要线性地多作念一步。
换句话说，内存不及会让GPU的算力愚弄率急剧着落。反过来，Werner指出：“若是你能提供弥散快、弥散大的内存，表面上可以从GPU中榨取出平素倍的算力。”
推动KV缓存需求蔓延的身分有三个：高下文窗口越来越长、模子参数目越来越大、同期并发使用AI的用户越来越多。Werner清楚，当今高下文长度正以每年30倍的速率增长。
内存层级：从HBM到SSD，一条齐备的“存储链”
Werner防备梳理了AI数据中心的内存层级结构，从最麇集GPU的高带宽内存（HBM）到最远端的海量SSD，组成一条齐备的“存储链”。
第一层：HBM，紧贴GPU，典型容量在10至100GB之间，速率最快，但容量有限。
第二层：主内存（Main Memory），集中至CPU，容量不时是HBM的4至20倍，但速率更慢、距离更远。以英伟达Blackwell系统为例，主内存集中至Grace CPU。
第三层：扩展内存（Expansion Memory），通过光纤集中孤独内存模块，当今尚未大规模量产部署，但已是业界珍爱的场合。
第四层：高下文内存存储（Context Memory Storage），即用SSD来存储KV缓存。Werner指出，英伟达CEO黄仁勋本年已公开谈及这一场合。与HBM比较，SSD的蔓延更高、带宽更低，但容量可达HBM的1000倍。
第五层：数据湖，数据中心底层的海量SSD存储，以EB（艾字节）计。
Werner默示，当今统统这个词层级从上到下王人处于供不应求的状态：“只好咱们发布家具，他们就会耗尽掉。只好咱们升迁容量和性能，他们就会找到步调部署。”
HBM4与245TB SSD：好意思光的两张王牌
濒临上述需求，好意思光正在两个场左券期发力。
HBM4方面，幸运彩Werner清楚，好意思光刚刚发布了HBM4家具，带宽是上一代HBM3e的两倍以上。他强调，升迁带宽的中枢逻辑在于：当瓶颈不是算力而是内存带宽时，必须加速数据投递GPU的速率。
SSD方面，好意思光推出了一款245TB超大容量SSD，Werner样式“这个东西比一副扑克牌大不了若干”。
这款家具的意思不仅在于容量自己。Werner阐扬，当今数据中心部署的硬盘容量广泛在30TB出面，而245TB的SSD意味着同等存储量所需的开发数目大幅减少，连带减少了收集集中、电源、电扇等配套设施，最终将存储占大地积压缩逾80%，同期权贵裁汰功耗。
“你只需要为你着实需要的性能付费，而这些性能所以更高效的每瓦特GB来录用的。”Werner说。
这平直回复了数据中心面前最辣手的两大不竭：电力预算和物理空间。Werner默示：“若是电力是截止增长的瓶颈，那咱们就必须在固定功耗预算内，找到提供更高效性能的步调。这恰是咱们多半创新的开首。”
产能也曾跟不上：全球五座晶圆厂同步开建
尽管需求鼎沸，Werner坦承，内存行业的产能也曾无法跟上需求。
华尔街见闻
，赞 8
“咱们莫得在全球建造弥散多的晶圆厂。”他平直说谈。
当今好意思光正在全球同步股东五座晶圆厂的竖立：
爱达荷州博伊西：60万平素英尺洁净室，很是于10个足球场大小
纽约州北部：已晓示开工竖立
弗吉尼亚州：现存晶圆厂扩建
新加坡：南部晶圆厂（Nanfab）破土动工
日本：DRAM出产设施扩建
中国台湾：刚刚从PSMC收购一座晶圆厂
Werner默示，当今统统这个词行业王人受制于洁净室空间，这一情状短期内难以改变。
咱们也曾无法跟上需求了，其他统统东谈主也同样——英特尔、英伟达、台积电王人在说，咱们也曾满负荷了。晶圆厂不是说长就能长出来的。
咱们也曾无法跟上需求了，其他统统东谈主也同样——英特尔、英伟达、台积电王人在说，咱们也曾满负荷了。晶圆厂不是说长就能长出来的。
市集还没看懂这件事
关于市集的担忧，Werner有不同认识。
他以为，市集当今看到云办事商（CSP）本钱开支大幅增多，就初始操心这是否可抓续。但他的判断是：“这些企业正在履历一场高大的蜕变，后来劲仍然超出大多数东谈主的思象。”
Werner还指出，AI的应用场景远未饱和。考试时间也曾畴昔，推理时间刚刚初始，而Agentic AI（智能体AI）和物理AI（Physical AI）致使还莫得真耿直规模落地。“我果真深信，咱们仅仅刚刚波及AI将要带来的变革的名义。”
他也承认，硅谷表里对AI的贯通存在高大落差：
在硅谷，大众王人相配怡悦，很容易堕入我方的信息茧房。但当我和不在这个行业的一又友聊天，他们许多东谈主还莫得签订到畴昔20年将会发生什么。
在硅谷，大众王人相配怡悦，很容易堕入我方的信息茧房。但当我和不在这个行业的一又友聊天，他们许多东谈主还莫得签订到畴昔20年将会发生什么。
⭐星标华尔街见闻，好内容可以过 ⭐
本文不组成个东谈主投资提议，不代表平台不雅点，市集有风险幸运彩app，投资需严慎，请孤独判断和有策画。
发布于：上海市开云体育官方网站首页
备案号: