用英特尔显卡跑AI,如何解决CUDA问题?

真有点Amazing啊。用英

这两天GPU圈子里发生了一件事，解决被网友们津津乐道地讨论——有一款显卡卖爆了。问题

火到什么程度？用英就是一进货就被抢了。

GPU供不应求其实很常见，解决但这次之所以能被热议，问题是用英因为这个产品背后的厂家。

不是解决你认为的英伟达，AMD，问题而是用英……英特尔。

为什么会这样？解决

从玩家的讨论中得到答案并不难——性价比够高，2000元的问题价格可以在2K画质下玩3A游戏。

The 用英Verge也给出了非常“直给”的评价：

英特尔终于赢得了GPU。

英特尔不久前发布了这款显卡第二代Arc B580，解决售价仅249美元。问题

要知道英伟达299美元的RTX RX4060美元和AMD269美元 仅配备8GBVRAM的7600。

但是英特尔的Arc B580不仅比它们便宜，而且还配备了B580VRAM12GB显存位宽和192bit。

即使是价格更低的Arc， B570(219美元，下个月上市)还配备了10GBVRAM。

此外，还有一件更有趣的事情。

Arc虽然是游戏显卡，但毕竟是GPU，所以...也有人买了开始搞AI。而这，可能会让它未来的销售增加三分热度。

不，有人在Reddit上分享了如何在Arcdit上 B580上AI绘图Comfy UI了：

不仅个人用户品尝新鲜，我们还发现一些企业已经开始将英特尔显卡插入商用计算设备，包括工作站和服务器。具体的“食谱”是：英特尔强系列CPU Arc显卡。

然而，英特尔上一代被暂时使用。A770，A770作为上一代旗舰车型，拥有16G大显存，用于人工智能推理，也算是游刃有余。

据可靠消息，这种组合最引人注目的优势也是“性价比”二字。

更值得讨论的话题之一应该是:

消费级显卡搞AI，到底行不行？

首先，我们可以看到，无论是个人还是企业，购买英特尔消费级显卡进行人工智能，基本上都是这样做的AI推理的。

事实上，推理计算能力的需求正在迅速增长，超过了训练计算能力的需求。

一方面，随着行业的热议，“Scaling预训练” Law撞墙”，像OpenAI o1/o3系列模型也开始依靠增加推理计算能力来提高模型能力。

另一方面，人工智能应用程序着陆的爆发也使推理需求显著增加，这些需求往往不强迫计算能力溢出甚至极端，即所谓的硬需求不高，但更注重实现足够的性能（包括并发性和延迟），以及易于获得、易于部署、易于使用和成本是否足够实惠。

那为什么要选择英特游戏图形卡进行人工智能推理呢？？就像之前的分析一样，性价比绝对是一个很大的考虑因素。

硬件方面，即使是顶级计算卡，面对高并发等场景，单卡人工智能推理也会成为瓶颈，但升级到四卡和八卡的成本将飙升。此时，英特尔 A770，一款价格2000元的16G大显存型号，已成为性能与成本相结合的选择。

在应用方面，事实上，很多场景对每秒token的生成速度要求不高，尤其是流式传输等优化手段，只要firstt， token latency到位，生成速度满足一定要求，体验非常好。

有人可能会问，用英特尔显卡跑AI，如何解决CUDA问题？

最受欢迎的大模型推理框架之一vLLM由于开源软件的发展，它已经实现了高水平的抽象和包装，事实上，换哪种硬件，使用并不太差。

再加上英特尔自己提供的开源oneAPI，迁移成本可以很低。