大模型开发平台¶
产品介绍¶
大模型开发平台(APPID: llmops)是OpsAny对接大模型的集成平台,当前版本支持对接Deepseek和Ollama托管的大模型。
在聊天窗可以快速和AI对话,左侧是对话历史,右侧是对话聊天窗口。
一、AI应用¶
1.1 应用管理¶
AI应用管理,社区版暂未开放创建应用功能。可点击配置按钮,编辑已默认的AI应用。
可点击配置按钮,编辑已默认的AI应用。
可编辑AI应用的名称、开场白、系统提示词、提示词模板、默认对话保留天数、单次对话消息数量上限等信息。可编辑AI应用依托的模型配置,例如编辑模型提供商、AI模型、最大token上限、超时时间、最大重试次数、严谨与想象等信息。
二、平台设置¶
2.1 模型提供商¶
设置大模型提供商,支持DeepSeek和Ollama部署的大模型。
点击添加模型,可自定义添加DeepSeek和Ollama两种大模型。
选择DeepSeek模型提供商,输入DeepSeek模型的API Key(可从深度求索官方获取API Key)后,点击连通性测试检测是否正常,完成操作。
选择Ollama模型提供商,API域名已填充本地默认端口,本地部署Ollama模型后,输入正确的域名地址,点击连通性测试检测是否正常,完成操作。