将运行在 Groq 上的 Llama-70B 模型与 Whisper 模型结合，实现了几乎零延迟的性能。
如果在GPT 4或者未来更高版本GPT 5能实现这速度，想象空间很大，几乎秒级就能写一本书出来，AI实时通话都不是问题！
这个东西真厉害，速度真快 哈哈哈哈
接近500 token/s的输出速度...模型是Mixtral 8X7B
Llama 2 7B 是750 tokens/s
快是真快，无人能敌，但是准确性还不怎么样...
可以体验下：http://groq.com
还提供API，你可以自己弄个测试：http://wow.groq.com
留言
發佈留言