Ollama模型管理器 V1.0 绿色免费版

　　Ollama模型管理器由个人网友开发，主要用来主动提前加载大模型，以节省首次和大模型交互的响应时间或者手动从显存中卸载大模型，以便快速释放显存，底层逻辑其实就是把CMD命令行操作给你包装成了图形界面，你不用再去敲命令，点点鼠标就能搞定。

【功能说明】

　　主要就两件事——预加载和卸载。预加载就是提前把你要用的大模型加载到显存里，这样你下次跟模型对话的时候就不用等它慢慢加载了，响应速度直接快一截。卸载呢，就是手动把模型从显存里清掉，把显存释放出来，方便你去跑别的东西。另外它还能直接查看当前Ollama里有哪些模型，比你去敲ollama list方便多了。

【亮点介绍】

　　最大的亮点就是省时间、省显存。你想啊，大模型首次加载那是真的慢，提前加载好了，第一次交互就不用干等着。反过来，模型跑完了不用了，手动一卸载，显存立马腾出来，特别适合显存不是特别充裕的朋友。而且操作真的是傻瓜式的，手动点几下就搞定，不用记任何命令。

【使用说明】

　　首先你得保证Ollama主程序是开着的，这个是前提。然后打开这个工具，选你想预加载的模型，点一下加载，模型就进显存了。之后你去你常用的交互客户端里，把模型选成你预加载的那个就行。想卸载也简单，选模型点卸载，显存就释放出来了。另外工具里也能直接看到你Ollama里有哪些模型，相当于自带了一个ollama list的可视化版本。

【注意事项】

　　**程序主要用于Ollama且基于默认的11434端口**

　　其他大模型调试软件，或者非Ollama默认端口的，请忽略！！

　　使用时注意点：

　　1.需要Ollama主程序正常运行中；

　　2.预加载大模型后还需要在交互客户端选择预加载的模型名称；

【常见问题】

　　问题1：安装和启动就报错

　　"端口被占用，bind: address already in use"

　　这个是最高频的。Ollama默认用11434端口，结果被Docker、Hyper-V、或者残留的Ollama进程给占了。

　　解决办法：先查谁在用这个端口。Windows下打开CMD输入 netstat -ano | findstr :11434，找到那个PID，去任务管理器里把对应进程干掉就行。Linux/Mac用 lsof -i:11434 然后kill掉。实在不行就换个端口，在环境变量里加一个 OLLAMA_HOST=0.0.0.0:11435 就完事了。

　　"安装完输入ollama命令，提示不是内部或外部命令"

　　这就是环境变量没配好。Windows用户重新装一遍，装的时候勾上"Add to PATH"。如果还不行，手动把Ollama的安装目录（一般是 C:\Program Files\Ollama）加到系统PATH里，然后重启终端。

　　问题2：运行时各种崩

　　"CUDA out of memory / OOM killed"

　　显存炸了，最常见的原因。你拉了个7B以上的模型，显存不够用。

　　几个解决思路：第一，换量化版本，比如 ollama pull llama3.2:3b-q4_K_M，4bit量化能省一半以上显存。第二，减少GPU层数，跑的时候加参数 --num-gpu 20 之类的，让一部分层跑在CPU上。第三，实在不行就加大虚拟内存（Windows）或者交换空间（Linux），能顶一阵子。

　　"模型加载一直显示loading，最后超时失败"

　　先看日志。Windows下去 %LOCALAPPDATA%\Ollama 目录里找 server.log，Linux用 journalctl -u ollama 看。常见原因就是内存不够或者模型文件损坏了。文件损坏的话直接 ollama rm 模型名 删掉重新拉。

　　"响应特别慢，一个字一个字往外蹦"

　　大概率是没用上GPU。先确认你的NVIDIA驱动装好了没有，nvidia-smi 看一眼。然后跑模型的时候加上 --gpu 参数。如果加了还是慢，可能是CPU线程开太多了，试试 --num-threads 4 限制一下，有时候线程多了反而互相抢资源。