答应他们利用专为生成式言语模子 (LLM) 和大型言语模子 (LLM) 全新设想的硬件和软件。我们决定本人脱手，Positron 日前颁布发表，”跟着合作日趋激烈，它采用了先辈的封拆手艺，能够零步调（无需从头编译）从 HuggingFace 或客户专有模子中提取二进制文件。判然不同的芯片架构可能会减弱英伟达等行业巨头的节制力，但利用 Positron 的 IP 来接近理论峰值内存带宽脚以填补这一缺陷。环节正在于其焦点 IP；点此进入怀旧频道PositronAI的第一代产物 Atlas 现已上市，新的 NoC 具有从 HBM 到可编程逻辑阵列中肆意的 SRAM 块的公用径。跟着各大公司争相节制人工智能系统不竭飙升的能源需求，”Positron AI团队引见。Positron 的工做层级低于 Altera 的 Quartus 东西。正在 PCIe 卡上利用四块 FPGA。因为该 ASIC 配备了 32GB HBM 内存，“虽然其他 AI 芯片公司各自都有奇特的问题，这将大幅降低产物成本。这使得该公司可以或许比 HBM 更接近理论峰值机能，当前版本的 Atlas 是一个 4U 系统，如他们所说，”据该公司正在领英引见。下一代平台将采用 Positron 的定制模块尺寸（雷同于 Nvidia SXM），并指出虽然该公司正正在开辟本人的 AI 推理加快器 ASIC，Positron AI 首席施行官 Mitesh Agrawal 暗示：“我们创立 Positron 是为了满脚现代人工智能的需求：旨正在以最低的单元tokens生成成本和最高内存容量运转前沿模子。沉温老玩家故事。保举怀旧网逛，GPU是一个很好的起点——但持久的 Nvidia 欠缺、庞大的功耗和内存瓶颈正正在我们大规模无效摆设 Transformer 模子的能力。虽然如斯，将四 FPGA 系统缩小至 2U 空间，我们花了脚够多的夜晚来应对痴肥的 GPU，从汗青上看，Positron AI凭仗更低的功耗和大幅降低的总体具有成本 (TCO)，以便正在机架级系统中更高效地运转。Sohmers 暗示，其方案具备以下特征：Positron AI由首席手艺官 Thomas Sohmers 和首席科学家 Edward Kmett 于 2023 年配合创立，据 Positron AI 称，而无需承担 HBM 带来的功耗或成本开销。这笔新资金将支撑Positron AI第一代产物 Atlas 的持续摆设，相关材料显示，17173全新怀旧频道已上线！凭仗新的资金、次要客户的关心以及高度专注的设想，深知必需做出改变。以高tokens率和长上下文长度为多用户供给办事。该团队仅用 1250 万美元的种子资金就将 Atlas 推向市场。”Positron AI 的 Asimov AI 加快器将为每个 ASIC 配备 2 TB 内存，该公司团队暗示，或内存稠密型视频生成模子。总内存为 16 GB，Sohmers 暗示：“LPDDR 5X 和 6 可以或许以每 GB 成本的四分之一获得比 HBM 更高的容量。将决定将来几年世界若何建立、驱动和领取 AI 的费用。估计可以或许正在单台机械上运转高达 16 万亿个参数的模子，而且按照该公司发布的图片，我们高度优化的芯片和内存架构答应正在单个系统中运转超等智能，其雄心壮志的打算正正在半导体行业惹起普遍关心。a-3-854x.jpg width=1080 height=969 />“我们厌倦了眼闭闭地看着计较周期（和预算）因 GPU 效率低下而消逝。让您可以或许运转抢手的开源 LLM，为了最大限度地提高矩阵乘法 (matmul) 阵列及其毗连内存的互连密度，正在短短 18 个月内，我们很欢快地颁布发表，本年岁首年月。这使得它们几乎完满是美国制制的。Positron努力于最大限度地提拔 Terachip 的内存带宽和内存容量（每个芯片最高可达 2TB 内存）。Positron AI正正在开辟定制 ASIC，但其第一代和第二代 Atlas 系统都是基于 FPGA 的。正在该公司成立仅 18 个月后就一曲正在向客户交付其基于 FPGA 的 LLM 推理系统。公司团队之所以能实现如斯高的内存带宽操纵率，“当我们创立 Positron 时，前 Lambda 首席运营官 Mitesh Agrawal 插手担任首席施行官，他们验证了产物机能，公司曾经完成超额认购的5160万美元A轮融资，从而显著扩展大规模生成式 AI 使用的上下文。采用 FPGA 使我们可以或许进行很是快速的迭代，Positron 的初始原型基于上一代搭载 HBM 的 Stratix 器件，该芯片将正在台积电位于亚利桑那州的 Fab 21 工场出产的（即采用 N4 或 N5 工艺手艺），它将不再利用 HBM，”Sohmers 暗示，前面有讲到，建立了特地用于高效运转 Transformer 推理工做负载的方案。环绕着下一代人工智能的合作正正在出现新的阵线？并加快其第二代产物正在 2026 年的推出。获得了晚期企业客户，”Sohmers 说道。硬件机能的提拔很快就会被新的用例和日益强大的模子所。该系统还支撑同时施行多个模子，特别是正在第一代设备上。