新版本来袭!通义千问开源Qwen2.5,你期待吗?(3)

2024-09-19 17:15  头条

等待模型下载,下载的模型速度取决您的网络速度。

使用

使用ollama 命令行窗口推理

启动模型

ollama run qwen2.5:7b-instruct

模型启动完成,这样我们就可以实现模型推理了。

我们查看显卡,qwen2.5:7b-instruct 默认4B量化的模型大概占用 4.7GB显存 推理速度也还可以。

使用第三方chatbox 来实现推理

下载chatbox 套壳软件。 https://chatboxai.app/zh

今日关注
更多