Functionary 是一种可以解释和执行函数/插件的语言模型。

在

  


该模型确定何时执行函数，无论是并行还是串行，并且可以理解它们的输出。它仅根据需要触发功能。函数定义以 JSON 架构对象的形式给出，类似于 OpenAI GPT 函数调用。

  

确保您已安装 PyTorch ( 2.1.2 )。然后要安装所需的依赖项


现在您可以启动速度极快的 vLLM 服务器。


如果您在依赖项方面遇到问题，并且您有 nvidia-container-toolkit，则可以启动您的环境：


OpenAI-python v0 和 v1 的区别可以参考官方文档


确保 llama-cpp-python 已成功安装在您的系统中。从 v0.2.18 开始，Functionary v2 已完全集成到 llama-cpp-python 中。您可以通过正常的聊天完成或通过 llama-cpp-python 的 OpenAI 兼容服务器（其行为与我们的类似）使用 Functionary 的 GGUF 模型执行推理。


更多详细信息，请参考 llama-cpp-python 中的函数调用部分。要使用 llama-cpp-python 的 OpenAI 兼容服务器来使用我们的 Functionary GGUF 模型


## 用例

旅行和酒店业 - 旅行计划：函数 plan_trip 可以接受用户输入，例如“我想计划去巴黎7天的旅行，重点是艺术和文化”，并相应地生成行程。


房地产 - 物业估价：像estimate_property_value这样的函数可以允许用户输入有关房产的详细信息（例如位置、大小、房间数量等）并接收估计的市场价值。


电信 - 客户支持：函数 parse_customer_complaint 可以帮助从复杂的、叙述性的客户投诉中提取结构化信息，识别核心问题和潜在的解决方案。 complaint 对象可以包含 issue （主要问题）、 frequency （问题发生的频率）和 duration 等属性（问题发生了多久）。


快速阅读： https://marktechpost.com/2024/04/08/meetkai-releases-functionary-v2-4-an-alternative-to-openai-function-calling-models/ 

Github 页面： https://github.com/MeetKai/functionary 

高频项目-小型： https://huggingface.co/meetkai/functionary-small-v2.4 

高频项目-中： https://huggingface.co/meetkai/functionary-medium-v2.4 


@meetkaiinc  #ArtificialIntelligence 


如果想详细了解，可以点开视频下方的链接。

谢谢观看本视频。要是喜欢，请订阅、点赞。谢谢


视频：https://youtu.be/ij-l5sphu3w

留言

發佈留言