Chat-With-MLX：在Mac上轻松运行各种开源模型

在


并以RAG的方式聊天

是利用苹果MLX框架实现的一个高效、多语言支持进行检索增强生成（RAG）的聊天界面。


可以轻松自动集成任何HuggingFace和MLX兼容的开源模型。支持通过URL与Doc(x)、PDF、txt文件和YouTube视频进行聊天交互。


## 主要功能：


1、与数据聊天：支持通过URL与doc(x)、pdf、txt文件和YouTube视频进行聊天交互。

2、多语言支持：支持中文、英语、法语、德语、印地语、意大利语、日语、韩语、西班牙语、土耳其语和越南语。

3、易于集成：可以轻松集成任何HuggingFace和MLX兼容的开源模型。

4、支持的模型：包括Google Gemma、Mistral、OpenHermes、NousHermes、Mixtral、Quyen、StableLM 2 Zephyr、Vistral、VBD-Llama2等模型。


项目地址：https://github.com/qnguyen3/chat-with-mlx

视频：https://youtu.be/HqQoOCrtIyI

留言

發佈留言