NVIDIA发布一个可以运行在PC上本地模型:Chat With RTX





该模型可以与你自己的内容(文档、笔记、视频或其他数据)相连接,

利用检索增强生成(RAG)、TensorRT-LLM和RTX加速技术,用户可以个性化地创建一个聊天机器人。

快速获得上下文相关的答案。所有操作均在用户本地完成!

它专为搭载NVIDIA RTX显卡的Windows系统设计,可以个性化地与用户的文件、笔记和视频内容进行互动。


## 主要功能和特点包括:


1. 个性化内容访问:能够连接到用户的个人内容,如文档、笔记、视频等,提供针对性的回答和信息。

2. 高级技术支持:利用检索增强生成(RAG)、TensorRT-LLM和RTX加速技术,确保聊天机器人的回答既相关又快速。

3. 本地运行:所有功能都在用户的Windows RTX PC或工作站上本地运行,保证了数据的安全性和处理的速度。

4. 支持多种文件格式:能够处理多种文件格式,包括文本、PDF、DOC/DOCX和XML等,使用户可以轻松地将不同类型的内容纳入其个性化的聊天体验中。

5. 视频内容查询:可以通过提供YouTube播放列表的URL来加载视频的文字转录,从而使用户能够查询视频内容。

6. 系统要求:对运行环境有一定要求,需要Windows 11操作系统、NVIDIA GeForce RTX 30或40系列GPU、至少8GB的VRAM和16GB或更多的RAM。


- 平台: Windows

- GPU: NVIDIA GeForce™ RTX 30或40系列GPU或NVIDIA RTX™ Ampere或Ada世代GPU,至少需要8GB的VRAM

- RAM: 16GB或更高

- 操作系统: Windows 11

- 驱动程序: 535.11或更高版本


详细:https://nvidia.com/en-us/ai-on-rtx/chat-with-rtx-generative-ai/

视频:https://youtu.be/AQiIeeYtX-c

留言