AE Agent

使用本地模型 (Ollama / LM Studio)

完全在您自己的机器上运行 AI 模型 —— 免费、私密且离线。AE Agent 可连接至 Ollama、LM Studio 或任何在本地运行的 OpenAI 兼容端点。没有任何数据会离开您的计算机。

本地模型在隐私保护和零成本方面具有优势，但工具调用质量因模型而异。对于 Agent 模式，请使用性能较强的近期模型 —— llama3.1 或更新版本，或 qwen2.5 或更新版本。较小或较旧的模型在可靠调用工具方面可能会遇到困难。

Ollama

安装 Ollama

从 ollama.com/download 下载并为您的操作系统安装 Ollama。它会在 http://localhost:11434 运行本地服务器。

拉取并运行模型

在终端中，拉取一个支持工具调用的模型并启动它：

ollama run llama3.1

首次运行时将下载模型。之后该模型将保存在本地供随时使用。

在 AE Agent 中进行连接

打开 Settings → Local AI，将 URL 设置为：

http://localhost:11434

点击 Detect models。AE Agent 将列出所有已拉取的模型。选择其中一个 —— 它将出现在 Local 下的模型选择器中。

安装并加载模型

从 lmstudio.ai 安装 LM Studio，从其库中下载模型并加载。

启动本地服务器

在 LM Studio 中，打开 Local Server 选项卡并启动。它会在 http://localhost:1234 提供一个 OpenAI 兼容的端点。

在 AE Agent 中进行连接

在 Settings → Local AI 中，将 URL 设置为：

http://localhost:1234

点击 Detect models 并选择已加载的模型。

任何支持 OpenAI chat-completions API 的服务器都可以按同样方式运行。在 Settings → Local AI 中输入其基础 URL 并点击 Detect models。这涵盖了如 llama.cpp server、vLLM 等自托管运行时。

如果 Detect models 没有找到任何内容，请确认本地服务器确实在运行且 URL/端口匹配。模型必须先被拉取 (Ollama) 或加载 (LM Studio) 才会显示。