项目说明
本工具由本地 Qwen + Deepseek 大模型联合编写,本人已做二次修改与优化,用于实测离线模型运行效率。
核心用途:
- 主动预加载大模型,大幅缩短首次交互响应时间
- 手动卸载模型,快速释放显存资源
重要说明
本程序仅适用于 Ollama,且基于 Ollama 默认 11434 端口。
其他大模型工具 / 非默认端口环境,请勿使用。
其他大模型工具 / 非默认端口环境,请勿使用。
使用注意事项
- 运行前确保 Ollama 主程序已正常启动
- 预加载模型后,需在交互客户端选择对应模型名称
- 本工具仅负责:将模型载入显存 / 从显存卸载,无其他功能
补充说明
采用永久加载策略,无需设置闲置时效,更贴合手动管理场景。
![图片[1]-Ollama本地大模型管理器(AI写的)-小鑫の小屋](https://www.xkwo.com/data/attachment/forum/202605/08/203742pn9zwnbkkpx21gt1.webp)
![图片[2]-Ollama本地大模型管理器(AI写的)-小鑫の小屋](https://www.xkwo.com/data/attachment/forum/202605/08/203802vhwshz80hhkgkuq8.webp)
![图片[3]-Ollama本地大模型管理器(AI写的)-小鑫の小屋](https://www.xkwo.com/data/attachment/forum/202605/08/203830u2kk45arj53p2k0z.webp)
![图片[4]-Ollama本地大模型管理器(AI写的)-小鑫の小屋](https://www.xkwo.com/data/attachment/forum/202605/08/203851tp9pfpz6p86xy6bl.webp)
为这篇文章评分
0人
0人
0人
0人
0人
© 版权声明
© 版权声明 All Rights Reserved
THE END



















暂无评论内容