本地服务运行监控
在牧马人界面左下角常驻有 本地服务的状态监控面板,方便监控本地服务的运行状态和系统资源占用情况。
状态指示
- 绿色圆点 + "本地服务运行中" — 表示服务正在正常运行
- CPU 使用率
- 内存使用率
- 显卡使用率:显示当前模型加载所占用的显存比例(仅显示加载占用,不包含回答问题时的实时占用)
小提示:
- 模型运行会占用两部分显卡资源:加载模型(基础占用)和 回答问题(额外占用)
- 启动模型后,即使不提问也会占用一部分显存
- 提问时,模型会使用额外的显卡性能来生成答案
- 建议:不使用时及时关闭模型,释放显卡资源供其他程序使用


启动资源预检提示说明
这是什么?
当您启动模型时,系统会自动检查您的电脑是否有足够的资源(显存和内存)来运行该模型。如果资源不足,会弹出此提示警告您。
解决方法
方法1:释放资源(推荐)
- 关闭其他模型
- 在软件中关闭已加载但不需要的模型
- 释放被占用的显存
- 关闭占用显存的程序
- 游戏、视频编辑软件、AI 绘画工具等
- 浏览器(特别是开了很多标签页)
方法2:降低模型需求
- 减少上下文长度
- 将上下文从 131072 调小到 32768 或更小
- 在启动前拖动滑块调整
- 选择更小的模型
- 72B 模型太大,尝试 7B、4B 等小模型
- 小模型占用资源少,运行更快


