跳转至
首页 解决方案 下载 文档
演示环境

大模型开发平台


产品介绍

大模型开发平台(APPID: llmops)是OpsAny对接大模型的集成平台,当前版本支持对接Deepseek和Ollama托管的大模型。

alt text 在聊天窗可以快速和AI对话,左侧是对话历史,右侧是对话聊天窗口。


一、AI应用

1.1 应用管理

AI应用管理,社区版暂未开放创建应用功能。可点击配置按钮,编辑已默认的AI应用。

alt text

可点击配置按钮,编辑已默认的AI应用。

alt text

可编辑AI应用的名称、开场白、系统提示词、提示词模板、默认对话保留天数、单次对话消息数量上限等信息。可编辑AI应用依托的模型配置,例如编辑模型提供商、AI模型、最大token上限、超时时间、最大重试次数、严谨与想象等信息。


二、平台设置

2.1 模型提供商

设置大模型提供商,支持DeepSeek和Ollama部署的大模型。

alt text

点击添加模型,可自定义添加DeepSeek和Ollama两种大模型。

alt text 选择DeepSeek模型提供商,输入DeepSeek模型的API Key(可从深度求索官方获取API Key)后,点击连通性测试检测是否正常,完成操作。

alt text 选择Ollama模型提供商,API域名已填充本地默认端口,本地部署Ollama模型后,输入正确的域名地址,点击连通性测试检测是否正常,完成操作。


Document