英伟达发布 1200 亿参数大模型 Nemotron 3.5 Super VL：单 GPU 智能体任务吞吐量最高

AI 总结 • 英伟达于10月15日发布1200亿参数的多模态大模型Nemotron 3.5 Super VL，采用MoE架构，在单GPU执行智能体任务时吞吐量最高提升5倍，支持文本、图像、视频理解及工具调用。 • 该模型结合NeMo工具链支持企业定制化后训练，官方案例显示供应商信用处理成本预计降低97.5%，收据处理吞吐量提升50%且延迟降低90%，威胁分析准确率提升40%。 • 为降低推理开销，模型采用投机解码、NVFP4量化及分布式部署优化，在16张B200 GPU测试中最多可服务8倍用户且首词元延迟降低85%，目前已在Hugging Face等平台开放获取。 • 同期还推出两款端侧Bolt模型，其中74B版本经2位量化压缩至24GB支持本地部署，4GB版本计划于10月23日发布，涵盖语音助手及嵌入式界面场景。 【Nemotron 3.5 Super VL 发布】 IT之家 10 月 15 日消息，英伟达宣布推出开放多模态模型 Nemotron 3.5 Super VL，面向需要持续运行、执行多步骤任务的 AI 智能体。 该模型采用混合专家（MoE）架构，总参数量为 1200 亿，激活参数 120 亿。英伟达称，在单张 GPU 上执行智能体任务时，该模型的吞吐量最高可达到同规模其他开放模型的 5 倍。 据介绍，Nemotron 3.5 Super VL 将推理、指令遵循和工具调用能力，与文本、图像、文档及视频理解能力整合到同一个模型中，可用于代码测试与调试、跨网站信息检索、文档分析、网络安全威胁识别以及视频内容检索等场景。 开发者可以利用英伟达 NeMo 工具链，结合自有数据、工具、政策和工作流程进行后训练，并根据业务需求调整模型行为。 【企业定制案例】 英伟达同时公布了多个企业定制案例。 例如，AI 数据技术提供商 Scale AI 为媒体娱乐公司 Skydance Corporation 定制了供应商信用处理智能体，相关工作负载的推理成本预计可降低 97.5%、延迟降低 80%。 金融运营平台 Ramp 正将收据图像转换为包含商户、日期和支付信息的结构化 JSON 数据，预计吞吐量最高提升 50%、延迟降低 90%。 AI21 与 AI 安全公司 Alice 合作定制模型，用于威胁情报和漏洞分析，相关任务准确率提升 40%。 【模型评测表现】 在模型评测方面，英伟达称 Nemotron 3.5 Super VL 在 CharXiv 图表推理基准测试中得分为 80.8%，高于 Nemotron 3 Nano Omni 的 63%； 结合 Python 代码解释后，得分达到 84%。 在 Hermes Bench 和 LangChain 行为评估中，该模型分别取得 63.44% 和 87.05%，高于 Nemotron 3 Ultra 的 56.33% 和 84.3%。 英伟达还表示，该模型在 OCRBenc ...

该板块内容需要购买后才能完整浏览

立即购买