本地服务运行监控

在牧马人界面左下角常驻有 本地服务的状态监控面板,方便监控本地服务的运行状态和系统资源占用情况。

状态指示

  • 绿色圆点 + "本地服务运行中" — 表示服务正在正常运行
  • CPU 使用率
  • 内存使用率
  • 显卡使用率:显示当前模型加载所占用的显存比例(仅显示加载占用,不包含回答问题时的实时占用)

小提示:

  • 模型运行会占用两部分显卡资源:加载模型(基础占用)和 回答问题(额外占用)
  • 启动模型后,即使不提问也会占用一部分显存
  • 提问时,模型会使用额外的显卡性能来生成答案
  • 建议:不使用时及时关闭模型,释放显卡资源供其他程序使用

Snipaste_2026-05-20_15-25-09

Snipaste_2026-05-20_15-26-42

启动资源预检提示说明

这是什么?

当您启动模型时,系统会自动检查您的电脑是否有足够的资源(显存和内存)来运行该模型。如果资源不足,会弹出此提示警告您。

解决方法

方法1:释放资源(推荐)

  1. 关闭其他模型
    • 在软件中关闭已加载但不需要的模型
    • 释放被占用的显存
  2. 关闭占用显存的程序
    • 游戏、视频编辑软件、AI 绘画工具等
    • 浏览器(特别是开了很多标签页)

方法2:降低模型需求

  1. 减少上下文长度
    • 将上下文从 131072 调小到 32768 或更小
    • 在启动前拖动滑块调整
  2. 选择更小的模型
    • 72B 模型太大,尝试 7B、4B 等小模型
    • 小模型占用资源少,运行更快

Snipaste_2026-05-20_15-27-57