等待模型下载,下载的模型速度取决您的网络速度。
使用
使用ollama 命令行窗口推理
启动模型
ollama run qwen2.5:7b-instruct
模型启动完成,这样我们就可以实现模型推理了。
我们查看显卡,qwen2.5:7b-instruct 默认4B量化的模型大概占用 4.7GB显存 推理速度也还可以。
使用第三方chatbox 来实现推理
下载chatbox 套壳软件。 https://chatboxai.app/zh
等待模型下载,下载的模型速度取决您的网络速度。
使用
使用ollama 命令行窗口推理
启动模型
ollama run qwen2.5:7b-instruct
模型启动完成,这样我们就可以实现模型推理了。
我们查看显卡,qwen2.5:7b-instruct 默认4B量化的模型大概占用 4.7GB显存 推理速度也还可以。
使用第三方chatbox 来实现推理
下载chatbox 套壳软件。 https://chatboxai.app/zh