RTX AI 大算力为各个行业带来 AIGC 生产力革命
英伟达 RTX AI 媒体品鉴会回顾
NVIDIA 于 2018 年推出 RTX 技术和首款专为 AI 打造的消费级 GPU(GeForce RTX)。AI PC 是搭载专用 AI 加速硬件的计算机,在 RTX GPU 上,这些专用的 AI 加速器被称为 Tensor Core。运行要求极为严苛的工作和娱乐应用时,Tensor Core 能够显著加速 AI 性能,并为 PC 用户引入了以前在云端才能运行的新功能。
衡量 AI 性能的一种方法是以 teraops 为单位。teraops 即「万亿次运算/秒」(TOPS),TOPS 可作为单一指标让用户了解 PC 的 AI 性能,GeForce RTX 40 系列 GPU 可提供的算力,涵盖从 200 AI TOPS 到 1300 AI TOPS,包括笔记本电脑和台式电脑的多样选择。与之相比,目前没有独立 GPU 的轻量级 AI PC 的算力仅为 10 至 45 TOPS。
NVIDIA TensorRT 软件开发者套件可加速深度学习推理性能。TensorRT 能加速非常热门的生成式 AI 模型,如 Stable Diffusion 1.5 和 SDXL 等。全新的 UL Procyon AI 图像生成基准测试现已支持 TensorRT 加速,内部测试表明该基准测试可以比较准确地反映目前的实际性能表现。将 Tensor Core 与 TensorRT 结合后,本地 RTX AI PC 可获得卓越的生成式 AI 性能。
RTX AI PC 目前已成为拥有超过 1 亿用户和 500 款 AI 应用的生态。
火星时代教育发布《NVIDIA TensorRT Stable Diffusion创作加速指南》
《NVIDIA TensorRT Stable Diffusion 创作加速指南》是火星时代教育为 AI 设计爱好者和创作者基于 RTX 40 系 GPU 提升 Stable Diffusion 创作效率的实操性教程。指南包括:安装与设置,加速引擎构建,加速效果对比以及 NVIDIA TensorRT 在实际商业创作场景的应用(海报设计、电商设计、室内效果图设计、插画设计),帮助使用者在创作过程中借助详细教程和加速工具实现商业创意落地,提升创作效率。指南由火星时代教育 AI 设计教研团队主要研发,NVIDIA 技术团队提供技术支持,未来将根据应用软件版本优化并迭代升级。
火星时代教育创始人王琦表示:「火星时代是 NVIDIA Studio 中国区生态合作伙伴,双方共同探索 AI 软件在设计流程中的辅助作用,并在火星影视学院部分专业引入 NVIDIA Studio AI 应用做教学试点,在 2023 年共同开发 AI 设计方向创作加速的公开课,此次联合发布《NVIDIA TensorRT 加速 Stable Diffusion 创作加速指南》是火星时代和 NVIDIA 聚焦『科技+教育』在设计领域的积极实践,充分激发学习者对于科技发展的关注,拥抱 AI 前沿技术,为个人效率加速,为商业创作赋能。」
吐司/Tensor.Art 发布《个人用户玩转 Stable Diffusion 的 GPU 配置推荐》
吐司/Tensor.Art是行业第一家实现在线生图的 AI 模型社区(Tensor.Art 是吐司的国际版)。致力于紧跟最前沿的 AI 技术和国际视角帮助AI创作者降低创作门槛。在《个人用户玩转 Stable Diffusion 的 GPU 配置推荐》中,吐司/Tensor.Art 聚焦 SD 1.5 和 SDXL 1.0,使用第三方测试软件 UL Procyon AI 基准测试完整测试 RTX 40 系列多款型号的显卡、笔记本电脑 GPU 在 Stable Diffusion 的推理性能表现,其中在 UL Benchmark SD1.5 TRT vs. OpenVINO 的对比测试中,RTX 4090 笔记本电脑 GPU 相对于 iGPU(Arc Graphics) 有超过 27 倍的性能提升。
使用吐司基准测试完整 LoRA 模型在 Stable Diffusion 的训练性能,还对不同型号 RTX 40 系显卡和笔记本电脑 GPU 在Stable Diffusion 任务中的性能进行全面评估,旨在为 AIGC 爱好者在后期 LoRA 模型训练和设备选择时给予参考。
AI 模型平台吐司/Tensor.Art 创始人沈振宇表示:「目前吐司和 Tensor.Art 上已经有超过 16w+ 的模型数量。此次与英伟达联合发布《个人用户玩转 Stable Diffusion 的 GPU 配置推荐》旨在让关注 AIGC 领域的入门用户以及不同垂类场景的用户在选择 RTX AI PC 设备进行模型训练和应用时提供客观、公正的配置参考,提升用户使用 AIGC 的生产效率。」
游戏中的 AI
ACE 是众多 NVIDIA AI 技术之一,可将游戏提升到新的水平。
● NVIDIA DLSS 是一项突破性图形技术,可在 GeForce RTX GPU 上利用 AI 提高帧率并改善图像质量。DLSS 3.5 树立全新游戏标准,通过 AI 增强光线追踪表现,备受期待的《黑神话:悟空》(Black Myth: Wukong)和《永劫无间》(NARAKA: BLADEPOINT)即将支持 DLSS 3.5 光线重建(Ray Reconstruction)和全景光线追踪技术,实现画质和性能的大幅提升,为 GeForce 玩家带来极致体验。
● NVIDIA RTX Remix 可让 Modder 轻松截取游戏素材,使用生成式 AI 工具自动增强材质,以及借助全景光线追踪和 DLSS 快速创建令人惊艳的 RTX 重制版游戏。
● NVIDIA Freestyle 将通过全新的 NVIDIA app Beta 版提供,可让用户通过实时后处理滤镜个性化定制超过 1200 款游戏的视觉美学效果,并具有 RTX HDR、RTX Dynamic Vibrance(RTX 数字自然饱和度)等功能。
● NVIDIA Broadcast 应用可将任何房间变成家庭工作室,为直播提供 AI 增强型语音和视频工具,包括噪音和回音消除、虚拟背景和 AI 绿幕、面部追踪、视频降噪和目光接触。
NVIDIA ACE 为游戏带来栩栩如生的 NPC
● Covert Protocol 是 Inworld AI 公司与 NVIDIA 合作开发的一项全新技术 Demo,它突破了游戏中角色互动的界限。Inworld AI 引擎集成 NVIDIA Riva 和 NVIDIA Audio2Face,前者可实现精确的语音转换文字,后者可提供逼真的面部表情。
● Inworld AI 引擎采用多模态方法来展示非玩家角色(NPC),将认知、感知和行为系统集成在一起,在精心制作的环境中呈现令人惊叹的 RTX 渲染角色,以实现身临其境的叙事效果。
Chat with RTX,听得更多,看得更多,聊得更多
● Chat with RTX(或简称ChatRTX)使用检索增强生成、NVIDIA TensorRT-LLM 软件和 NVIDIA RTX 加速,将本地生成式AI功能引入到支持 RTX 的 Windows 系统中。用户可快速、轻松地将本地文件作为数据集连接到开放式大语言模型(如:来自智谱 AI 的 ChatGLM3),快速查询与上下文相关的答案。
● ChatGLM 是基于 GLM 预训练框架的双语对话模型,采用了独创的多阶段增强预训练方法,包括 6B、12B、32B、66B 等多种尺寸。同时 ChatGLM3 支持多样的加速工具,包括 NVIDIA TRT-LLM 框架,使模型性能在合理的精度损失下实现推理加速提升。
● 智谱 AI 副总裁吴玮杰表示:「大模型加持的 AI PC 将带来生产力范式革命,让 AI 生产力普惠每个人。随着端侧算力和大模型能力的演进,支撑 AI PC 的大模型解决方案应该是端云一体的混合 AI。端侧和云侧大模型无缝协同,共同为用户提供智力强大、随时在线、极速响应、安全可信、个性化的 AI PC 应用。我们的大语言模型 ChatGLM3-6B 支持 NVIDIA Tensor RT-LLM 等加速框架,使模型推理性能实现加速提升,让用户在 AI PC 上可以获得更加流畅的体验。」
● 此外,ChatRTX 还将很快增加对语音、图像和新模型的支持。
创作中的 AI 应用
● SD 专业工作流:RTX 4090 D GPU 在复杂的控制工作流和出图质量中表现出真正的生产力,通过人像生成控制模型 InstantID,让用户足不出户就能快速通过搭载 RTX 4090 D 的 RTX AI PC 上由普通摄像头的自拍照生成高质量影棚级别的肖像照。而目前,RTX GPU 能为 Stable Diffusion 用户带来生产力级别的体验。
● SD 一秒生成 8 张图:作为市面上最快的 Stable Diffusion 计算出图方案,用户开箱即用就能在 RTX 4090 D GPU 享受到高达每秒 8 张图的生成速度。使用当前最快的 Stable Diffusion 加速方法 TensorRT,再配合开发者进一步的性能优化,目前 RTX 4090 D GPU 最高能实现每秒超过 100 张图的生成速度,因此 Stable Diffusion 用户也能像游戏玩家一样通过高帧率享受丝滑的创作体验。
● 声音克隆:基于 RTX GPU 加速的声音克隆可仅用 5 秒录音来克隆声音,实现无需训练的个性化声音生成。基于开源的 GPT-SoVITS 项目,声音克隆快速使用 5 秒声音样本,根据其发音特征由文本生成个性化语音片段,实现高质量的声音克隆;在 RTX AI 的加速下,仅仅五分钟就能完成;而基于更多样本(1 分钟)的微调训练实现更高质量接近 1:1 复刻的声音克隆。
● 实时建筑渲染:在建筑设计领域,即致 AI 基于扩散模型和蒸馏技术,通过 RTX GPU 的加速,实现了秒级的 AI 实时绘画。结合即致AI自研的全网下载量超 50W 国内建筑行业大模型,帮助建筑设计师享受 AI 实时渲染划时代的快捷、便利的同时,依然可以保证极高的出图效果。
● 剪映编辑器 AI 方向产品负责人伍凡表示:「对于创意应用来说,我们非常关注 AI 能力如何和用户实际的工作流相结合。剪映陆续上线了一系列生成式 AI 能力,例如音色克隆、视频翻译、数字人和 AI 生成文字模板/贴纸,其中AI生成文字模板和贴纸功能在 NVIDIA TensorRT 的加速下可以实现更高的性能提升。长期以来剪映和 NVIDIA 一直都是非常紧密的合作伙伴,我们期待 RTX AI PC 强大的 AI 性能表现以及 TensorRT 加速优化对 AI 模型的处理能力能帮助剪映的用户更高效、智能地进行创作。」
● 数字艺术家 & 策展人土豆人 Tudou_Man 表示:「每天有大量AIGC内容涌现,宛如微小的青苔连续改写当下。不久,我们的文明也将被数字所覆盖。通过 RTX 40 系列 AI PC 平台的运算加持,震惊之余,我使用 RTX 40 系列 RTX AI PC 创作了《复写苔原》系列作品,RTX 平台为像我这样的数字艺术家提供高效的 AI 算力加速。我将 AIGC 作品注入人的思考与灵魂,在不可逆的数据洪流中保持本真。」
● Blender 艺术家、AI 创作者 Simon 阿文表示:「AI 如何塑造我们的工作与生活,这个在过去听起来是少数大公司才有资格讨论的问题,但在如今这个问题的答案由 AI 社区和创作者塑造。包括央视春晚 AI 动画等作品在内,从文字、图像到影像,我的许多探索是基于本地 RTX 4090 完成的。AIGC 的可能性是一片蓝海,AI PC 是我的帆船。」
● AIGC 行业资深顾问、艾哎集瑟科技联合创始人言萧表示:「作为一名经常使用 AI 工具的建筑师,我对 RTX 平台的加速优势深有体会。它极大提高了 AI 图形生成软件的性能,特别是如 Stable Diffusion 等工具,在建筑设计的方案概念阶段尤为重要。通过 RTX 平台,我们能够快速获得高质量的渲染图像,有效加速设计过程,增强视觉表现力,极大促进了创意的快速迭代和方案的优化。这种技术进步不仅提升了设计效率,也为建筑师提供更广阔的创作空间。」
● Morph Studio 产品经理、上海国际电影节创投评委海辛表示:「我最开始进入到这个行业,就是从有一块自己的 RTX 显卡开始的。RTX 40 系显卡给了我探索 AI 在文字、图像、影像可能性的机会。」