这两天卡通动漫，Apple Intelligence 的上线成为了最大的科技新闻之一。

天然比拟 1 个多月前公布的好意思满版 Apple Intelligence， iOS 18.1 beta 1 中引入的 Apple Intelligence 功能并不好意思满，Image Playground、Genmoji、优预知告、具有屏幕感知功能的 Siri 和 ChatGPT 集成……这些弥漫王人还莫得。

但总的来说，苹果照旧带来了 Writing Tools（写稿器用）、通话灌音（含转录）以及全新联想的 Siri。

其中，Writing Tools 赈济重写、专科化、不祥等功能，不错用于聊天、发一又友圈、条记以及文本写稿等场景；通话灌音不仅不错纪录通话，还能自动转录成文本，方便用户追想。

此外，Siri 也得到了「升级」，可惜现在还仅限于联想，包括全新的「赛马灯」殊效以及键盘输入赈济。

但引东谈主能干的是，苹果在一篇名为《Apple Intelligence Foundation Language Models》的论文中露馅，苹果并莫得采用常见的 H100 等 GPU，而是选了「老敌手」谷歌的 TPU，锤真金不怕火 Apple Intelligence 的基础模子。

图/苹果

用谷歌 TPU，真金不怕火成 Apple Intelligence

无人不晓，Apple Intelligence 系数分红三层：一层是运行在苹果建设土产货的端侧 AI，一层是基于「独到云商量」时间运行在苹果自独特据中心的云表 AI。按照供应链传出的音信，苹果将通过多数制造 M2 Ultra 来构建自独特据中心。

此外还有一层，则是接入第三方云表大模子，比如 GPT-4o 等。

不外这是推理端，苹果是奈何锤真金不怕火出我方的 AI 模子，一直是行业内照应的焦点之一。而从苹果官方的论文来看，苹果是在 TPUv4 和 TPUv5p 集群的硬件上锤真金不怕火了两个基础模子：

一个是参数界限达到 3 亿的建设端模子 AFM-on-device，使用 2048 块 TPU v5p 锤真金不怕火而成，土产货运行在苹果建设上；一个是参数界限更大的办事器端模子 AFM-server，使用 8192 块 TPU v4 芯片锤真金不怕火，最终运行在苹果自独特据中心里。

图/苹果

这就奇怪了，毕竟咱们王人知谈，英伟达 H100 等 GPU 才是现在锤真金不怕火 AI 的主流领受，以至会有「AI 锤真金不怕火只用 Nvidia GPU」的说法。

与之相对，的 TPU 就显得有些「名不见经传」。

但事实上，谷歌的 TPU 是专为机器学习和深度学习任务联想的加快器，大要提供超卓的性能上风。凭借其高效的商量才略和低蔓延的收汇注合，谷歌的 TPU 在处分大型模子锤真金不怕火任务时阐明出色。

举例，TPU v4 就能提供了每个芯片高达 275 TFLOPS 的峰值算力，并通过超高速互连将 4096 个 TPUv4 芯片聚合成一个大界限的 TPU 超算，从而收尾算力界限的倍增。

而且不仅是苹果，其他大模子公司也采用了谷歌的 TPU 来锤真金不怕火他们的大型模子。Anthropic 公司的 Claude 便是一个典型的例子。

失少女系列

聊天机器东谈主竞技场名次，图/LMSYS

Claude 如今不错说是 OpenAI GPT 模子最纷乱的竞争敌手，在 LMSYS 聊天机器东谈主竞技场上，Claude 3.5 Sonnet 与 GPT-4o 持久是「卧龙凤雏」（褒义）。而据露馅，Anthropic 一直莫得购买英伟达 GPU 来搭建超算，便是使用 Google Cloud 上 TPU 集群来锤真金不怕火和推理。

旧年底，Anthropic 还官宣当先使用 Google Cloud 上的 TPU v5e 集群来锤真金不怕火 Claude。

Anthropic 的持久使用，以及 Claude 阐明出来的后果，王人充分展示了谷歌 TPU 在 AI 锤真金不怕火中的高效性和可靠性。

此外，谷歌的 Gemini 亦然完全依赖于自研的 TPU 芯片进行锤真金不怕火。Gemini 模子旨在鞭策和生成时间的前沿，其锤真金不怕火过程需要处分多数的文本数据，并进行复杂的模子商量。

而 TPU 的纷乱商量才略和高效的别离式锤真金不怕火架构，使得 Gemini 大要在相对较短的时天职完成锤真金不怕火，并在性能上获取显赫冲破 。

但如若说 Gemini 尚可聚合，那从 Anthropic 到苹果又为什么领受谷歌 TPU，而不是英伟达 GPU？

TPU 和 GPU，谷歌和英伟达的暗战

在本周一举办的商量机图形学顶级会议 SIGGRAPH 2024 上，英伟达首创东谈主兼 CEO 黄仁勋表露，本周英伟达就将发送 Blackwell 架构的样品，这是英伟达最新一代的 GPU 架构。

2024 年 3 月 18 日，英伟达 GTC 大会上发布了其最新一代 GPU 架构——Blackwell，以及最新一代 B200 GPU。在性能上，B200 GPU 在 FP8 及新的 FP6 上不错达到 20 petaflops（每秒千万亿次浮点运算）的算力，使其在处分复杂 AI 模子时阐明出色。

Blackwell 发布的两个月后，谷歌也发布了其第六代 TPU（Trillium TPU），每块芯片在 BF16 下不错提供接近 1000 TFLOPS（每秒万亿次）的峰值算力，谷歌也将其评价为「迄今适度性能最高、最节能的 TPU」。

图/谷歌

对比谷歌的 Trillium TPU，英伟达 Blackwell GPU 在高带宽内存（HBM3）和 CUDA 生态系统的赈济下，在高性能商量中仍然有着一定的上风。在单个系统中，Blackwell不错并行聚合多达 576 个 GPU，收尾纷乱的算力和生动的膨胀性。

比拟之下，谷歌的 Trillium TPU 则选藏在大界限别离式锤真金不怕火中的高效性和低蔓延。TPU 的联想使其大要在大界限模子锤真金不怕火中保持高效，并通过超高速收集互连减少通讯蔓延，从而提高合座商量服从。

而不仅是在最新一代的 AI 芯片上，谷歌与英伟达之间的「暗战」骨子也曾存在了 8 年，从 2016 年谷歌自研 AI 芯片 TPU 就运行。

到今天，英伟达的 H100 GPU 是现在主流阛阓上最受接待的 AI 芯片，不仅提供了高达 80GB 的高带宽内存，还赈济 HBM3 内存，并通过 NVLink 互连收尾多 GPU 的高效通讯。基于 Tensor Core 时间，H100 GPU 在深度学习和推理任务中具有极高的商量服从。

但同期，TPUv5e 在性价比上具有显赫上风，相等适合中小界限模子的锤真金不怕火。TPUv5e 的上风在于其纷乱的别离式商量才略和优化的能耗比，使其在处分大界限数据时阐明出色。此外，TPUv5e 还通过谷歌云平台提供，便于用户进行生动的云表锤真金不怕火和部署。

谷歌数据中心，图/谷歌

合座来说，英伟达和谷歌在 AI 芯片上的策略各有侧重：英伟达通过提供纷乱的算力和无为的斥地者赈济，推动 AI 模子的性能极限；而谷歌则通过高效的别离式商量架构，提高大界限 AI 模子锤真金不怕火的服从。这两种不同的旅途领受，使得它们在各自的应用界限中王人展现出了独特的上风。

不外更蹙迫的是，能击败英伟达的，也惟一采用软硬件协同设策略略，同期领有纷乱的芯片才略和软件才略的敌手。

谷歌便是这么一个敌手。

英伟达霸权的最强挑战者

Blackwell 是继 Hopper 之后英伟达的又一要紧升级，具有纷乱的商量才略，专为大界限话语模子（LLM）和生成式 AI 而联想。

据先容，B200 GPU 采用了台积电 N4P 工艺制造，领有多达 2080 亿个晶体管，由两块 GPU 芯片采用互连时间「构成」，况且配备了高达 192GB 的 HBM3e（高带宽内存），带宽可达 8TB/s。

而在性能上，谷歌的 Trillium TPU 比拟上一代 TPU v5e 在 BF16 下提高了 4.7 倍，HBM 容量和带宽、芯片互连带宽也王人翻了一番。此外，Trillium TPU 还配备了第三代 SparseCore，不错加快锤真金不怕火新一代基础模子，蔓延更低，本钱也更低。

Trillium TPU 相等适合大界限话语模子和保举系统的锤真金不怕火，不错膨胀出数百个 集，通过每秒 PB 级别的收集互连时间聚合漫山遍野的芯片，收尾另一种层面的超等「商量机」，大幅提高商量服从和减少收集蔓延。

图/谷歌

从本年下半年运行，Google Cloud 用户就能当先采用这款芯片。

总的来说，谷歌 TPU 的硬件上风在于其高效的算力和低蔓延的别离式锤真金不怕火架构。这使得 TPU 在大界限话语模子和保举系统的锤真金不怕火中阐明出色。然则，谷歌 TPU 的上风还在于独处于 CUDA 以外另一个好意思满的生态，以及更深度的垂直整合。

通过 Google Cloud 平台，用户不错生动地在云表进行锤真金不怕火和部署。这种云表办事风光不仅减少了企业在硬件上的干与，还提高了 AI 模子的锤真金不怕火服从。Google、 Cloud 还提供了一系列赈济 AI 斥地的器用和办事，如 TensorFlow 和 Jupyter Notebook，使斥地者大要愈加浅显地进行模子锤真金不怕火和测试。

苹果用上的谷歌 TPU v5p，图/谷歌

谷歌的 AI 生态系统中还包含了多种斥地器用和框架，如 TensorFlow，这是一个无为使用的开源机器学习框架，大要充分应用 TPU 的硬件加快功能。谷歌还提供了其他赈济 AI 斥地的器用，如 TPU Estimator 和 Keras，这些器用的无缝集成大大简化了斥地过程。

此外，谷歌的上风还在于：谷歌我方便是对 TPU 算力需求最大的客户。从 YouTube 海量视频内容的处分，到 Gemini 的每一次锤真金不怕火和推理，TPU 早就融入谷歌的业务体系之中，也逍遥了谷歌的巨量算力需求。

不错说，谷歌的垂直整合远比英伟达来得透彻，着实完全掌执了从模子锤真金不怕火到应用，再到用户体验的要害节点，这骨子也给了谷歌更大的可能，不错证据时间和阛阓趋势从底层运行优化服从。

是以尽管在芯片的性能筹商上，Trillium TPU 依然难以和 Blackwell GPU 相抗衡，然则具体到大模子的锤真金不怕火上，谷歌仍能通过系统性地优化服从，并排以至越过英伟达 CUDA 生态。

在 Google Cloud 用 TPU，是苹果最佳的领受

简言之，谷歌 TPU 集群性能、本钱和生态的上风，使其成为大界限 AI 模子锤真金不怕火的理思领受。反过来，在 Google Cloud 用 TPU 亦然苹果现阶段最佳的领受。

基于 TPU v4 的超算，苹果也用到了。图/谷歌

一方面是性能和本钱。TPU 在处分大界限别离式锤真金不怕火任务时阐明出色，提供高效、低蔓延的商量才略，逍遥苹果在 AI 模子锤真金不怕火中的需求。而通过使用 Google Cloud 平台，苹果不错镌汰硬件本钱，生动诊疗商量资源，优化 AI 斥地的总体本钱。

另一方面是生态。谷歌的 AI 斥地生态系统也提供了丰富的器用和赈济，使得苹果大要更高效地斥地和部署其 AI 模子，再加上 Google Cloud 的纷乱基础要道和时间赈济也为苹果的 AI 形貌提供了坚实的保险。

本年 3 月，也曾任职于英伟达、IBM 和谷歌的 Sumit Gupta 加入了苹果，带领云基础要道。证据报谈，Sumit Gupta 于 2021 年加入谷歌的 AI 基础要道团队，并最终成为了谷歌 TPU、自研 Arm CPU 等基础要道的家具司理。

Sumit Gupta 比苹果里面绝大部分东谈主王人更了解谷歌 TPU的上风地方。

2024上半年，科技圈旭日东升。大模子加快落地，AI手机、AI PC、AI家电、AI搜索、AI电商……AI应用成千上万；Vision Pro开售并登陆中国阛阓，再掀XR空间商量波浪；HarmonyOS NEXT认真发布，转移OS生态生变；汽车全面进入“下半场”，智能化成头等大事；电商竞争日益剧烈，卷廉价更卷办事；出海波浪旭日东升，中国品牌迈上巨匠化征途；7月流火，雷科技·年中追想专题上线，总结科技产业2024上半年值得纪录的品牌、时间和家具，纪录畴昔、瞻望将来，敬请照应。