ollama吧 关注:302贴子:729

一些Ollama小知识

只看楼主收藏回复

一、如何拯救岌岌可危的C盘空间?
Ollama默认将模型存储到C:\Users\%USERNAME%\.ollama中,我们可以使用环境变量OLLAMA_MODELS重新指定存储路径,此后我们拉取新模型时就会存储到新路径,对于已存在于C盘的模型可以将blobs与manifests文件夹移动到新路径即可
二、如何对外开放Ollama服务?
Ollama默认仅对本地网络(127.0.0.1)开放服务,若想使局域网或者互联网设备访问服务,我们可以使用环境变量OLLAMA_HOST来指定访问的IP与端口(值格式为:IP地址:端口号),例如:0.0.0.0:11434
三、如何切换计算设备(CPU, GPU, 多卡GPU)?
如果N卡用户,使用环境变量CUDA_VISIBLE_DEVICES,赋值为-1即指定CPU为计算设备,0则为第一张GPU,1为第二张,以此类推,关于GPU设备序号可通过任务管理器性能选项查看
A卡用户可使用环境变量HIP_VISIBLE_DEVICES来指定计算设备,方法同上
以上欢迎补充


IP属地:四川来自Android客户端1楼2024-08-11 22:25回复


    IP属地:广东来自Android客户端2楼2024-09-05 12:31
    回复


      IP属地:北京4楼2024-09-21 02:35
      回复
        请问怎么在openwebui上打开从其他渠道下载的微调模型


        IP属地:广西来自Android客户端5楼2024-09-22 21:20
        收起回复
          我想在vscode上通过aide插件调用llama3.1为什么调用不了


          IP属地:福建来自iPhone客户端6楼2024-09-23 09:12
          收起回复
            我最近安装了一个llama3.2,要如何从Ollama中删除它啊


            IP属地:云南7楼2024-11-01 15:22
            收起回复
              问一下,这种情况是怎么回事啊


              IP属地:山东来自Android客户端8楼2024-11-04 22:07
              收起回复
                使用环境变量修改使用的GPU,n卡是否需要下载cuda啊?


                IP属地:河南来自Android客户端9楼2024-11-28 10:03
                回复
                  你好,我在使用 ollama 时 c 盘占满了,而且未能调用我的 5600xt 显卡。看到了您的帖子,但可惜我看不懂,能请您教我吗


                  IP属地:天津来自Android客户端10楼2024-12-21 23:45
                  收起回复
                    大佬这怎么搞


                    IP属地:江苏11楼2025-01-28 23:46
                    回复


                      IP属地:江苏12楼2025-01-28 23:46
                      收起回复
                        大佬这为什么,首先我下了一个但是改了路径和环境,结果显示找不到,我重新下一次也不行怎么办


                        IP属地:湖南来自iPhone客户端13楼2025-01-30 01:17
                        收起回复
                          为啥我这儿没有.ollama的文件夹呀,安装确实是完成了模型,也导入了也能用了


                          IP属地:河南来自Android客户端14楼2025-01-30 16:14
                          收起回复
                            纯小白 怎么更改环境变量到C盘 本人愚钝 求大佬详细指教!


                            IP属地:陕西来自Android客户端15楼2025-01-31 23:10
                            回复
                              楼主你好,我在配置了 CUDA_VISIBLE_DEVICES 环境变量以后运行Ollama跑DeepSeek大模型,GPU的使用率还是只占了20%左右,主要的占用率还是CPU的,有80%左右,环境变量的值也是按照任务管理器中的GPU进行配置的(我的高性能GPU是 0),这就导致我的大模型回答速度很慢,还望大佬指点一二


                              IP属地:山东16楼2025-02-04 23:31
                              收起回复