文章分类：Product

摘要：本文详解如何将 Dify 与 TrueFoundry AI Gateway 无缝集成。通过该方案，开发者可将 Dify 构建的 AI Agent 快速投入生产环境，实现成本管控、安全合规、高可用容灾及多云模型切换，打造企业级 AI 基础设施。

Dify 与 TrueFoundry AI Gateway 集成指南

使用 Dify 构建 AI Agent 非常高效。该平台无需编写大量代码，即可轻松创建聊天机器人、AI Agent 和智能搜索系统。您只需拖拽组件、连接不同 AI 模型，几分钟内即可跑通原型。

但现实往往如此：从开发环境迁移到生产环境，是大多数 AI 项目的“滑铁卢”。在测试阶段表现完美的应用，一旦面对数千名真实用户，极易出现崩溃或性能瓶颈。

TrueFoundry AI Gateway 能无缝填补这一空白。它就像您的生产环境安全网，助您将 Dify Agent 平稳过渡到生产阶段，彻底告别服务崩溃、安全漏洞和意外账单等常见痛点。

本指南将带您逐步完成 Dify 与 TrueFoundry AI Gateway 的集成。这一组合将为您的 AI Agent 解锁企业级能力。我们还将深入探讨引入 AI Gateway 的战略价值，以及如何借助它构建安全、可扩展且成本可控的 AI 生态。

为什么您的 Dify Agent 需要 AI Gateway？

说实话，Dify 非常适合快速启动 AI Agent 开发，但生产环境的要求截然不同。引入 TrueFoundry AI Gateway 后，情况将发生以下变化：

🔒 全面掌控成本

实时仪表盘清晰展示各 Agent 的用量与花费。
为不同团队或项目设置独立预算。
月度 AI 预算即将超支时，自动触发预警。
精准定位消耗最高的模型，优化资源分配。

🛡️ 强化安全，不影响使用

实施基于角色的访问控制（RBAC），仅授权人员可调用高成本模型。
请求进入模型前，自动脱敏提示词中的敏感信息。
完整记录查询者、内容及时间，满足审计要求。
支持本地或私有云部署，满足最高安全标准。

⚡ 供应商故障时，服务永不中断

OpenAI 异常时，自动切换至 Claude 或其他供应商。
跨多区域负载均衡请求，避免单点故障。
失败请求自动重试，保障任务成功率。
确保 Dify 补全模式（Completion mode）Agent 保持低延迟与高响应。

🚀 为 AI 架构预留未来空间

无需修改 Dify 代码，即可在 OpenAI、Anthropic、Groq 等供应商间自由切换。
无需重建 Agent，即可快速测试新模型。

这正是现代 Dify LLMOps 的实际落地形态。

集成步骤：Dify 与 TrueFoundry AI Gateway 对接指南

将 Dify 与 TrueFoundry AI Gateway 集成非常简单，只需几步即可完成。以下是详细操作指南：

1. 生成 TrueFoundry 访问令牌

登录 TrueFoundry 控制台，进入 访问管理 (Access Management) 页面。
点击 新建个人访问令牌 (New Personal Access Token) 生成新令牌。
复制令牌并妥善保存。配置 Dify 时将用到。

2. 进入 Dify 模型供应商设置

登录 Dify 工作区。
进入 设置 (Settings)，选择 模型供应商 (Model Provider)。

3. 安装 OpenAI-API 兼容供应商

在模型供应商页面，搜索 OpenAI-API-compatible，点击 安装 (Install)。
接下来，使用 TrueFoundry 的配置信息完成设置。

4. 获取 TrueFoundry 配置详情

访问 TrueFoundry AI Gateway，获取正确的模型标识符。
同时，从 TrueFoundry 提供的统一代码片段中获取 API 端点 URL。

5. 配置并测试集成

在 Dify 的 OpenAI-API 兼容供应商设置中，填入以下信息：

模型名称 (Model Name)：TrueFoundry 模型 ID（例如：openai-main/gpt-4o）
模型显示名称 (Model display name)：便于识别的名称（例如：Gpt-4o）
API Key：TrueFoundry 个人访问令牌
API 端点 URL (API endpoint URL)：TrueFoundry Gateway 基础 URL
API 端点模型名称 (model name for API endpoint)：端点模型名称（例如：chatgpt4.0）
补全模式 (Completion mode)：选择 Chat (对话)

点击 保存 (Save) 应用配置。
在 Dify 中创建新 Agent 或工作流，向模型发送请求以测试集成效果。

完成！您已成功将 Dify 与 TrueFoundry AI Gateway 集成。现在，您可以安心构建强大的 AI Agent，享受企业级治理与管理带来的保障。

真实应用场景

以下是不同团队的实际使用案例：

📰 新闻与内容团队

若使用 Dify 构建新闻机器人或内容生成器，Gateway 可帮助您：
- 跨区域负载均衡，应对流量高峰时保持响应速度。
- 设置速率限制，防止爆款内容导致成本失控。
- 按内容类型切换模型（摘要使用低成本模型，原创内容使用高端模型）。

🎧 客户支持团队

针对客服聊天机器人：
- 发送提示词前，自动过滤客户个人隐私信息。
- 保留详细日志，满足合规审计要求。
- 主供应商异常时，自动切换至备用模型。

💻 工程研发团队

针对内部 AI 助手与代码辅助工具：
- 混合使用高成本云端模型与低成本自托管方案。
- 为初级与高级开发者分配不同权限。
- 追踪各团队 AI 使用频率，优化资源分配。

值得了解的进阶功能

🧠 LLMOps 集成

Gateway 将成为您管理 Dify LLMOps 的核心中枢。您可以：
- 无需修改 Dify Agent，即可对不同模型进行 A/B 测试。
- 向部分用户灰度发布新模型。
- 监控所有 AI 交互的质量指标。

🏗️ 基础设施即代码 (IaC)

对于构建企业级 Dify AI 基础设施的团队，可通过 API 配置一切：
- 自动化模型部署。
- 编程式配置监控与告警。
- 无缝对接现有 DevOps 工作流。

快速上手清单

准备开始部署？请核对以下清单：
- [ ] 注册 TrueFoundry 账号并生成访问令牌
- [ ] 记录 Gateway 基础 URL 与模型 ID
- [ ] 在 Dify 中安装 OpenAI-API 兼容供应商
- [ ] 使用令牌与基础 URL 配置连接
- [ ] 通过简单对话测试连通性
- [ ] 在 TrueFoundry 中设置基础预算与告警
- [ ] 监控 Dify 日志与 Gateway 分析数据
- [ ] 配置降级模型，保障服务高可用

核心总结

将 Dify 与 TrueFoundry AI Gateway 结合，可兼顾两者优势：
- 保留 Dify 的易用性，快速构建与迭代 AI Agent。
- 引入企业级基础设施，强化安全、稳定与成本管控。
- 为架构预留未来空间，轻松应对 AI 技术演进。

这不仅是工具的连接，更是打造能应对真实业务需求的 AI Agent。无论是处理数千张客服工单，还是为百万读者生成内容，该方案都能为您提供稳健的规模化基础。

想要快速开始？注册 TrueFoundry 账号，结合本文步骤与 快速入门指南，约 15 分钟即可上线生产级 AI 架构。无需复杂迁移或重写代码，即可让 AI Agent 获得更优的性能、安全与管控能力。

本页目录