斯坦福大学的研究人员推出 Octopus v2：

#ArtificialInteligence @Stanford

斯坦福大学的研究人员推出 Octopus v2：增强设备上语言模型的超级代理功能

快速阅读： https://marktechpost.com/2024/04/06/researchers-at-stanford-university-introduce-octopus-v2-empowering-on-device-language-models-for-super-agent-functionality/ 

斯坦福大学的研究人员推出了 Octopus v2，这是一种先进的设备上语言模型，旨在解决与当前LLM应用程序相关的普遍存在的延迟、准确性和隐私问题。与之前的型号不同，Octopus v2 显着减少了延迟并提高了设备​​上应用程序的准确性。其独特之处在于通过功能标记进行微调的方法，可以实现精确的函数调用，在效率和速度上超越GPT-4，同时将上下文长度大幅削减95%。

Octopus v2 的方法涉及在专注于 Android API 调用的定制数据集上微调源自 Google DeepMind 的 Gemma 2B 的 20 亿个参数模型。该数据集由正例和反例构建，以提高函数调用精度。该培训结合了完整模型和低秩适应 (LoRA) 技术，以优化设备上执行的性能。关键的创新是在微调期间引入功能令牌，显着减少延迟和上下文长度要求。这一过程使得 Octopus v2 能够在边缘设备上实现高精度和高效率的函数调用，而无需大量的计算资源。

 #ArtificialInteligence @Stanford 

 

 视频：https://youtu.be/xfsMWIlS6Dk