mac mini 安装 ollama

安装 ollama

网址:https://ollama.com/

/images/documents/mac mini 安装 ollama/1.png
(图1)

验证是否安装成功

浏览器访问 127.0.0.1:11434,显示 Ollama is running

1
2
# 查看版本
ollama --version

安装模型

/images/documents/mac mini 安装 ollama/2.png
(图2)
/images/documents/mac mini 安装 ollama/3.png
(图3)

ollama 环境变量全解析

环境变量 功能说明 默认值/示例
OLLAMA_HOST 设置API服务监听地址与端口,0.0.0.0表示允许所有IP访问 0.0.0.0:11434
OLLAMA_ORIGINS 允许跨域请求的域名列表,*为通配符 *
OLLAMA_MODELS 自定义模型存储路径,避免占用系统盘空间 D:\ollama_models
OLLAMA_KEEP_ALIVE 控制模型在内存中的保留时间,减少重复加载开销 24h(24小时)
OLLAMA_NUM_PARALLEL 并行处理请求数,提升高并发场景下的吞吐量 2
OLLAMA_DEBUG 启用调试日志,排查服务异常 1(开启)
OLLAMA_GPU_OVERHEAD 扩展显存不足时,利用RAM/VRAM混合加载大模型(需手动计算显存值) 81920000000(80GB)

局域网调用模型api

ollama 默认监听的是 127.0.0.1:11434,局域网下的其他电脑是无法调通 ollamaapi

方式一

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
# 修改 profile 文件
sudo vim /etc/profile

# 添加下面两行
export OLLAMA_HOST=0.0.0.0:11434
export OLLAMA_ORIGINS="*"

# :wq 保存的时候,如果提示 readonly option is set (add ! to override)
# 在 Vim 的命令模式下(按 Esc 键确保处于命令模式),输入
:w !sudo tee %

方式二

1
2
sudo sh -c 'echo "export OLLAMA_HOST=0.0.0.0:11434" >> /etc/profile'
sudo sh -c 'echo "export OLLAMA_ORIGINS="*"" >> /etc/profile'

方式三

1
2
3
# 临时生效,使用launchctl命令(重启后失效)
launchctl setenv OLLAMA_HOST 0.0.0.0:11434
launchctl setenv OLLAMA_ORIGINS "*"

ollama 模型常驻内存

方法一

1
2
3
4
5
# 使模型无限期地保留在内存中(提高响应速度)
curl http://localhost:11434/api/generate -d '{"model": "qwen2.5:14b", "keep_alive": -1}'

# 使模型在生成响应后立即卸载
curl http://localhost:11434/api/generate -d '{"model": "qwen2.5:14b", "keep_alive": 0}'
0%