设为首页收藏本站

性能是其它AI PC的60倍,英伟达如何变革端侧AI?

[复制链接]
查看5812 | 回复2 | 2024-1-10 12:55:01 | 显示全部楼层 |阅读模式

2024 年,AI PC 无疑是消费级市场中最受关注的焦点,同时端侧大模子及天生式 AI 的热度仍在持续上升。随着越来越多 AI PC 新品的发布,PC 财产正在迎来一场新的革命。

而这场革命中一定少不了英伟达。就在今日,英伟达于 CES 2024 中发布了 GeForce RTX 40 SUPER 系列产品,并正式对外公布已优化的软件、库及工具。

英伟达新的软硬件产品不仅将为游戏玩家带来全新的 AI 游戏体验,还将推动端侧天生式 AI 的遍及。

RTX 40 SUPER 系列发布,英伟达加入 AI PC 主战场

AI PC,是指具备集成软硬件混淆式智能学习与推理能力的计算机。

但目前业内对 AI PC 的界说仍较为模糊,以西南证券的研究报告为例,其将 AI PC 界说为:在架构筹划上,AI PC 最紧张的是嵌入了 AI 芯片,形成 "CPU+GPU+NPU" 的异构方案。

不外,英伟达在不使用 NPU 的情况下,仍能让 PC 表现出优异的性能,其表现:" 以宏碁、华硕、戴尔、惠普、联想、微星等合作伙伴发布全新 RTX AI 条记本电脑为例,与使用 NPU 相比,RTX AI 条记本电脑的性能可提升 20-60 倍。"

不外无论 AI PC 该如何被界说,在这一波浪潮中,产品性能才是王道,拥有创造和运行天生式 AI 的生态才是标准。这点也可以从其新款 RTX 40 SUPER 系列产品看出。

雷峰网了解到,本次发布性能最高的 GeForce RTX 4080 SUPER,在 AI 工作负载方面,天生视频的速率比 RTX 3080 Ti 快 1.5 倍,天生图像的速率比 RTX 3080 Ti 快 1.7 倍。SUPER GPU 的 Tensor Core 可提供最高可达 836 AI TOPS。

而新发布的 GeForce RTX 4070 Ti SUPER 则是拥有更多焦点,显存容量增至 16GB,显存位宽为 256 bits。比 RTX 3070 Ti 快 1.6 倍,打开 DLSS 3 后,比 RTX 3070 Ti 快 2.5 倍。而 RTX 4070 SUPER,则是焦点数量比 RTX 4070 多 20%,使其仅使用 RTX 3090 的一小部分功耗就实现了逾越 RTX 3090 的性能,借助 DLSS 3,它的性能领先上风将扩大到 1.5 倍。

基于强盛的 AI 性能,英伟达的 GeForce GPU 将给包括游戏玩家在内的用户带来全新的 AI 体验。

游戏玩家的全新体验和端侧 AI 的全面遍及

英伟达推出了 NVIDIA ACE(Avatar Cloud Engine)微服务,它使用天生式 AI 让游戏 NPC 变得更真实,旨在加强用户与游戏 NPC 之间的交互。详细表现为,用户以天然语言对游戏 NPC 说话后,NPC 并无预设回复,而是由大模子天生 NPC 的反应、回复内容、语音、口型、神态。背后的大模子可以运行在云上,也可以运行在 PC 端。

同时,英伟达发布了 NVIDIA RTX Remix,用于创建经典游戏 RTX 重制版的平台。测试版将于本月底发布,提供天生式 AI 工具,可将经典游戏中的基本纹理转化物理精准的 4K 高精度材质。

帧率提升方面,NVIDIA DLSS 3 支持帧天生技术 ( Frame Generation ) ,可利用 AI 将帧率提高到原生渲染的 4 倍,据了解,这将用于已发布的 14 款全新 RTX 游戏中的十几款游戏中,包括《地平线:西之绝境》 ( Horizon Forbidden West ) 、Pax Dei 和《龙之信条 2》 ( Dragon ’ s Dogma 2 ) 等。 [ Bb1 ]

AI 开辟者也可以充分利用端侧强盛的 AI 能力,让天生式 AI 无处不在。

英伟达月底即将上线 NVIDIA AI Workbench 工具包,答应开辟者在 PC 或工作站上快速创建、测试和自界说预训练的天生式 AI 模子和 LLM,而且项目可扩展到数据中心、公有云或 NVIDIA DGX Cloud 等,然后再回到 PC 或工作站上的本地 RTX 体系举行推理和轻量定制。该工具还简化了对 Hugging Face、GitHub 和 NVIDIA NGC 等流行存储库的访问。

NVIDIA AI Foundation Models and Endpoints ( 包括 RTX 加速的 AI 模子和软件开辟工具包 ) 有了新的进展。目前英伟达与惠普告竣合作,将其集成到惠普 AI Studio 中,这是一个集成化的数据科学平台,简化 AI 模子的开辟。这将使用户能跨 PC 和云轻松搜刮、导入和部署优化后的模子。而且,为 PC 使用场景构建 AI 模子之后,开辟者可使用 NVIDIA TensorRT 对其举行优化,以充分利用 RTX GPU 的 Tensor Core。

英伟达通过 TensorRT-LLM for Windows 将 TensorRT 扩展到基于文本的应用,目前最新更新现已发布,将 Phi-2 加入不停增长的 PC 预优化模子列表,与其他 backend 相比推理速率提升 5 倍;另一方面,TensorRT 扩展更新版的发布,令加速 Stable Diffusion XL ( SDXL ) Turbo 和 LCM 的性能提升了 60%。 [ Bb2 ]

英伟达还公布了一项为 AI 爱好者而筹划的技术 Demo —— Chat with RTX。据了解,这项服务或将作为开源参考项目于月底发布,让用户通过 " 检索加强天生 retrieval-augmented generation ( RAG ) ",可将 PC LLM 连接到本身的数据。该 Demo 由 TensorRT-LLM 加速,使用户快速与本身的条记、文档和其他内容举行交互。

回复

使用道具 举报

xcor | 2024-4-19 12:08:27 | 显示全部楼层
回复 支持 反对

使用道具 举报

xcor | 2024-4-19 12:09:32 | 显示全部楼层
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则