Release

【Release】Dify.AI v0.3.13 发布:轻松调用 Llama2、ChatGLM 等顶级开源大语言模型

摘要
Dify.AI v0.3.13 版本正式发布,新增对 Llama2、ChatGLM、Baichuan 及 Qwen-7B 等热门开源 LLM 的全面支持。本次更新大幅降低模型调用与筛选门槛,内置最优 System Prompt 与微调配置,助力开发者快速构建高性能 AI 应用。

Dify.AI v0.3.13 版本发布:轻松调用 Llama2、ChatGLM 等顶级开源 LLM

许多细心的用户注意到,我们的产品在周末悄然更新。我们接入了多家模型供应商的新款 LLM。这是许多朋友期待已久的 V0.3.13 版本。

此前,Dify 已陆续支持 OpenAI 的 GPT 系列、Anthropic 的 Claude 系列以及 Azure OpenAI 系列。本次更新让大家能轻松使用 Llama2、ChatGLM、Baichuan 和 Qwen-7B 等热门开源 LLM。对于托管在 Hugging Face 和 Replicate 上的模型,只需在 Dify 填入 API Key,即可轻松调用。

轻松调用顶级开源 LLM

Dify 全面支持 Replicate 和 Hugging Face 上的所有模型。你可以快速部署这些开源 LLM,高效构建高性能 AI 应用。以 Replicate 上的 Llama2 为例,看看如何在 Dify 中轻松调用!

探索 Dify.AI 上不同模型的潜力

快速切换,测试性能。 基于 Dify 内置的 LLM,你可以在应用页面快速切换不同模型。几分钟内,即可评估各模型在特定场景下的表现。这能帮你根据测试结果做出更明智的选择,获得最佳体验。

降低模型对比与筛选成本。 过去探索不同模型的能力边界,需要反复研究性能、调整参数,耗时耗力。现在只需在应用模型选择器中点击切换,即可对比能力。此外,Dify 已对每个模型进行微调,并配置了最优的 System Prompt。复杂的参数设置已被简化。你无需掌握每个模型的使用细节,直接在 Dify 选择即可获得最优方案。这大幅降低了模型筛选与调优门槛,让你更高效地构建 LLM 应用。

该选用哪款大语言模型?

今年新模型层出不穷,迭代速度惊人。我们真正进入了“百花齐放”的时代。部署成本、训练难度、推理性能、模型能力等因素,都对选型至关重要。以下整理了部分热门开源 LLM 的优势与能力,供参考(基于各大专业机构评估及官方披露):

Llama2
Meta 的 Llama 系列堪称开源模型的“始祖”,其能力甚至超越 GPT-3,但早期版本不支持商用。近期 Meta 发布了 Llama 2 系列,正式开放商用权限。任何企业或开发者均可将其用于商业用途,且在参数量、训练数据和架构上均有显著提升。相比 Llama 1,Llama 2 的预训练数据增加了 40%,达到 2000 亿 tokens。同时,上下文长度翻倍至 4096 tokens,使其更擅长处理长文本任务。

ChatGLM
ChatGLM-6B 是由智谱 AI 推出的中英双语对话模型,参数量为 62 亿。它支持在消费级 GPU 上运行。该模型基于 10 万亿中英双语 tokens 训练,并经过多项技术优化。虽然受限于模型规模,在记忆和语言处理能力上略有不足,但大幅降低了部署门槛,提升了运行效率。

ChatGLM2-6B 是 Hugging Face 上的第二代版本。它在保持对话流畅的同时,全面提升了性能、效率与兼容性。

Baichuan
百川智能推出了 Baichuan 模型系列,已开源 7B 和 13B 版本。

Baichuan-7B 拥有 70 亿参数,基于约 1200 亿 tokens 训练。

Baichuan-13B 则采用更大的参数与数据规模,预训练和对齐效率更高。官方透露,百川将于下月发布闭源的 53B 模型,并提供在线平台与 API 服务。

Qwen-7B
阿里云开源了 Qwen-7B,属于 Qwen 系列。该模型拥有 70 亿参数,迅速成为 Hugging Face 上仅次于 Llama2 的第二大热门文本生成模型。Qwen-7B 基于涵盖海量文本、书籍、代码等多样化预训练数据训练而成。丰富的语料为 Qwen-7B 奠定了坚实的知识基础,使其在对话、文本生成、问答等多种任务中具备极强的适应性。

除上述模型外,Dify 还将持续支持 Google PaLM、百川 53B 以及微调后的本地模型等。

更多功能更新与修复详情,请访问:
https://github.com/langgenius/dify/releases/

via @dify_ai

如果你喜欢 Dify,请给它一个 Star ⭐。

目录

文章来源: https://dify.ai/blog/effortlessly-leverage-top-opensource-llms
← 返回文章列表