求助，启动模型需要很久才能完成【ollama吧】

ollama吧关注：363贴子：812

求助

输入完 ollama run 模型名后，要等差不多5分钟才能开始对话。求解。🙏

送TA礼物

IP属地:上海

来自Android客户端1楼2025-02-16 07:09回复

慢是因为需要时间从硬盘加载到显存，运行之后可以命令行输入
curl http://localhost:11434/api/generate -d '{"model": "llama3", "keep_alive": -1}'
让模型常驻显存不会自动卸载

IP属地:广西

2楼2025-04-02 22:41

电脑太懒了

IP属地:广西

来自Android客户端3楼2025-04-25 05:28

硬盘不是固态？内存太小？显卡显存多少？

IP属地:湖南

来自Android客户端4楼2025-04-26 08:59

下载贴吧APP
看高清直播、视频！

贴吧热议榜

发表回复

内容:

使用签名档查看全部

发表

保存至快速回贴