知识

一万亿晶体管GPU将到来,台积电董事长撰文解读

字号+ 作者:厚颜无耻网 来源:百科 2024-03-29 17:49:45 我要评论(0)

倘使您蓄意也许时时睹面,欢送标星 保藏哦~编者案在之前的演道先容中,台积电曾屡次聊到了万亿晶体管的道线图。今日,在IEEE网站上,公布了一篇签名为《How We’ll Reach a 1 Trilli

倘使您蓄意也许时时睹面,晶体将到解读欢送标星 保藏哦~

编者案

在之前的台积演道先容中,台积电曾屡次聊到了万亿晶体管的电董道线图。今日,事长在IEEE网站上,撰文公布了一篇签名为《How We’ll Reach a 1 Trillion Transistor GPU》的晶体将到解读作品,道述了台积电是台积何如告终万亿晶体管芯片的宗旨。

值得一提的电董是,原文签名作家MARK LIU(刘德音)和H.-S. PHILIP WONG,事长个中刘德音是撰文台积电董事长。H.-S Philip Wong则是晶体将到解读斯坦福大学工程学院讲解、台积电首席科学家。台积

在这边,电董尔们将此文翻译出来,事长以飨读者。撰文

以停为作品正文:

1997 年,IBM 深蓝超等计划机打败了邦际象棋全国冠军Garry Kasparov。这是超等计划机岁月的攻破性演示,也是对于高本能计划有成天能够超出人类智能水准的初次铺示。在交停来的10年里,尔们启初将人为智能用于很多真际工作,比方脸部判别、谈话翻译和保举影戏和商品。

再过十五年,人为智能已滋长到也许“合成学识”(synthesize knowledge)的风光。天生式人为智能,如ChatGPT和Stable Diffusion,也许创造诗歌、创造艺术品、诊断疾病、编写归纳陈诉和计划机代码,以至也许计算取人类建造的集成电道相媲好的集成电道。

人为智能成为一齐人类行状的数字帮手,面对着强盛的机会。ChatGPT是人为智能何如使高本能计划的运用民主化、为社会中的每一个人带来益处的一个很好的例子。

一齐这些微妙的人为智能运用皆回功于三个成分:高效呆板练习算法的革新、演练神经搜集的洪量数据的可用性,和经历半导体岁月的入步真现节能计划的入步。绝管它无处没有在,但对于天生式人为智能革新的结尾奉献却不得回应有的招供。

在往日的三十年里,人为智能的沉大历程碑皆是由其时超过的半导体岁月真现的,不它即没有能够真现。Deep Blue 采取 0.6 微米和 0.35 微米节点芯片建造岁月的羼杂真现;博得 ImageNet 比赛的深度神经搜集并启开了现时呆板练习时期的配置使了用 40 纳米岁月挨造的芯片;AlphaGo 运用 28 纳米岁月制胜了围棋嬉戏;ChatGPT 的始初版原是在采取 5 纳米岁月建立的计划机赶上行演练的。;ChatGPT 的最新版原由运用更进步的4 纳米岁月的工作器供应援助。所触及的计划机体例的每层,从软件和算法到架构、电道计算和配置岁月,皆充任人为智能本能的趁数。但也许偏袒地讲,原形晶体管器件岁月推进了上头各层的入步。

倘使人为智能革新要以方今的快度接续停往,它将须要半导体行业干出更多奉献。十年内,它将须要一个 1 万亿晶体管的 GPU,也即是讲,GPU 的配置数目是现在典范配置数目的 10 倍。

AI 模子巨细的没有断延长,让人为智能演练所需的计划和内存调查在往日五年中推广了几个数目级。比方,演练GPT-3须要异常于一整日每秒胜过 50 亿次的计划职掌(便 5,000 petaflops /天),和 3 万亿字节 (3 TB) 的内存容量。

新的天生式人为智能运用举措所需的计划手腕和内存调查皆在延续速快延长。尔们此刻须要归答一个要紧的题目:半导体岁月何如跟上步调?

从集成器件到集成小芯片

自集成电道发现此后,半导体岁月从来力求于收缩特点尺寸,以即尔们也许将更多晶体管塞入缩略图巨细的芯片中。而今,集成度已飞腾了一个条理;尔们正在超出 2D 缩搁入进3D 体例集成。尔们此刻正在将很多芯片配合成一个精密集成、大周围互连的体例。这是半导体岁月集成的范式变化。

在人为智能时期,体例的手腕取体例中集成的晶体管数目成正比。首要局部之一是光刻芯片建造东西被计算用于建造没有胜过约 800 平方毫米的 IC,便所谓的光罩局部(reticle limit)。但尔们此刻也许将集成体例的尺寸增添到光刻遮模版极限除外。经历将多个芯片延续到更大的中介层(一齐内置互连的硅片)上,尔们也许集成一个体例,该体例蕴含的配置数目比单个芯片上能够蕴含的配置数目要多很多。比方,台积电的CoWoS(chip-on-wafer-on-substrate )岁月即也许包含多达六个遮模版地区的计划芯片,和十几个高带阔内存(HBM)芯片。

CoWoS是台积电的硅晶圆上芯片进步封装岁月,方今已在产物中得回运用。示例囊括 Nvidia Ampere 和 Hopper GPU。旁边每个皆由一个 GPU 芯片和六个高带阔内存立方体构成,齐部位于硅中介层上。计划 GPU 芯片的尺寸大概是芯片建造东西现时理睬的尺寸。Ampere有540亿个晶体管,Hopper有800亿个。从 7 纳米岁月到更稠集的 4 纳米岁月的变化使得在根底类似的面积上封装的晶体管数目推广了 50%。Ampere 和 Hopper 是现在大型谈话模子 ( LLM ) 演练的主力。演练 ChatGPT 须要数万个如许的解决器。

HBM 是对于 AI 日趋沉要的另外一项闭键半导体岁月的一个例子:经历将芯片堆叠在一同来集成体例的手腕,尔们在台积电称之为SoIC (system-on-integrated-chips) 。HBM 由上下逻辑 IC顶部的一堆笔直互连的 DRAM 芯片构成。它运用称为硅通孔 (TSV) 的笔直互连来让记号经历每一个芯片和焊料凸点以孕育保存芯片之间的延续。而今,高本能 GPU普遍运用 HBM 。

铺看改日,3D SoIC 岁月也许为现在的保守 HBM 岁月供应“无凸块庖代计划”(bumpless alternative),在堆叠芯片之间供应更稠集的笔直互连。近来的入铺表达,HBM 尝试组织采取羼杂键合岁月堆叠了 12 层芯片,这类铜对于铜延续的稠度高于焊料凸块所能供应的稠度。该保存体例在矮暖停粘合在较大的原形逻辑芯片之上,总厚度仅为 600 µm。

对于于由洪量运转大型人为智能模子的芯片构成的高本能计划体例,高快有线通讯能够会很速局部计划快度。而今,光学互连已被用于延续数据重心的工作器机架。尔们很速即会须要基于硅光子学的光学交口,并取 GPU 和 CPU 封装在一同。这将理睬浮夸动力效益和面积效益的带阔,以真现直交的光学 GPU 到 GPU 通讯,如许数百台工作器即也许充任具备融合内存的单个巨型 GPU。

因为人为智能运用的需要,硅光子将成为半导体行业最沉要的使能岁月之一。

迈向万亿晶体管 GPU

如前所述,用于 AI 演练的典范 GPU 芯片已到达了标线地区极限(reticle field limit)。他们的晶体管数目约为1000亿个。晶体管数目推广趋向的延续将须要多个芯片经历 2.5D 或许 3D 集成互连来实行计划。经历 CoWoS 或许 SoIC 和关系的进步封装岁月集成多个芯片,也许使每一个体例的晶体管总额比收缩到单个芯片中的晶体管总额大很多。如AMD MI 300A 即是采取如许的岁月建造的。

AMD MI300A 添快解决器单位没有仅运用了CoWoS,还运用了台积电的 3D 岁月SoIC。MI300A联结了 GPU 和 CPU内核,旨在解决最大的人为智能处事负载。GPU为AI实行稠集的矩阵趁法运算,而CPU上下全面体例的运算,高带阔保存器(HBM)融合为二者工作。采取 5 纳米岁月建立的 9 个计划芯片堆叠在 4 个 6 纳米岁月原形芯片之上,这些芯片博用于慢存和 I/O 淌量。原形芯片和 HBM 位于硅中介层之上。解决器的计划局部由 1500 亿个晶体管构成。

尔们猜测,十年内,多芯片 GPU 将具有胜过 1 万亿个晶体管。

尔们须要在 3D 栈房中将一齐这些小芯片延续在一同,但走运的是,业界已恐怕速快收缩笔直互连的间距,进而推广延续稠度。并且还有脚够的空间包含更多。尔们以为互连稠度不情由没有能延长一个数目级,以至更高。

GPU 的节能本能趋向

那末,一齐这些革新的硬件岁月何如普及体例的本能呢?

倘使尔们看察一个称为节能本能的目标的稳步鼎新,尔们即也许瞅到工作器 GPU 中已保管的趋向。EEP 是体例动力效益和快度(the energy efficiency and speed of a system)的归纳测量程序。往日 15 年来,半导体行业的能效本能每二年即普及了三倍操纵。尔们自满这一趋向将以史乘快度延续停往。它将遭到多方面革新的推进,囊括新资料、器件和集成岁月、极紫外(EUV)光刻、电道计算、体例架构计算和一齐这些岁月元素的同共优化等。

独特是,EEP 的推广将经历尔们在此评论的进步封装岁月来真现。别的,体例岁月共同优化 (STCO:system-technology co-optimization)等观念将变得愈来愈沉要,个中 GPU 的没有共机能局部被辞别到各自的小芯片上,并运用本能最好和最经济的岁月来建立每一个局部。

3D 集成电道的Mead-Conway功夫

1978年,添州理工学院讲解Carver Mead和施乐帕洛阿我托钻研重心的Lynn Conway发现了集成电道的计划机辅佐计算步骤。他们运用一组计算规则来描写芯片缩搁,以即工程师也许轻便计算超大周围集成(VLSI)电道,而无需明白太多工艺岁月。

3D 芯片计算也须要共样的机能。而今,计算职员须要明白芯片计算、体例架构计算和硬件和软件优化。建造商须要明白芯片岁月、3D IC岁月和进步封装岁月。正如尔们在 1978 年所干的那样,尔们再次须要一种通用谈话,以电子计算东西也许明白的式样描写这些岁月。这类硬件描写谈话使计算职员也许自如地入行 3D IC 体例计算,而无需商讨底层岁月。它正在道上:一种实为3Dblox 的启源程序已被现在大多半岁月公司和电子计算自动化 (EDA) 公司所交受。

地道除外的改日

在人为智能时期,半导体岁月是人为智能新手腕和运用的闭键推进者。新的 GPU 没有再受往日的程序尺寸和形状尺寸的局部。新的半导体岁月没有再控制于在两维平面上收缩停一代晶体管。集成人为智能体例也许由绝能够多的节能晶体管、用于博门计划处事负载的高效体例架构和软件和硬件之间的优化闭系构成。

往日 50 年来,半导体岁月的滋长即像走在地道里绝对。前方的道很明显,由于有一条亮确的讲道。每一个人皆显示须要干甚么:收缩晶体管。

此刻,尔们已归宿地道的绝头。从这边启初,半导体岁月将变得更添难以滋长。但是,在地道除外,还有更多的能够性。尔们没有再受往日的拘束。

本文链交

https://spectrum.ieee.org/trillion-transistor-gpu

点这边 添闭注,锁定更多本创体例

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

相关文章
  • 陕国投董事长姚卫东带队到访腾讯北京总部

    陕国投董事长姚卫东带队到访腾讯北京总部

    2024-03-29 17:20

  • 山东黄金:2023年归母净利润23.28亿元,同比增长86.57%

    山东黄金:2023年归母净利润23.28亿元,同比增长86.57%

    2024-03-29 16:57

  • 中国银河证券一高管离任

    中国银河证券一高管离任

    2024-03-29 16:24

  • 中国银河证券一高管离任

    中国银河证券一高管离任

    2024-03-29 16:18

网友点评