从业务应用到多模型的统一调用路径
业务应用与智能体
上层业务系统通过统一标准 SDK 或标准 API 提出推理请求,解耦底层模型接口差异。
Universal Gateway
集中管控模型调用全生命周期,执行安全、路由、费用与状态治理。
统一 API Key 验签、应用主体鉴权与租户隔离。
基于任务类型配置模型策略,支持异常平滑降级。
部门配额预检、超额拦截与高并发速率保护。
请求数据自动脱敏过滤,全局调用 Trace 追踪。
模型资产与提供商
统一接入外部通用模型与内部私有算力,无缝对接多样化计算基础设施。
- 通用大语言模型 (LLMs)
- 长上下文理解模型
- 专有数学与推理增强模型
- 本地私有化部署模型服务
- 企业专有 GPU 算力集群
- 开源模型微调专用端点
四大核心价值:规范、可靠与可观测的模型治理
围绕企业关键生产诉求,提供自底向上的工程化调用抽象与精细化资源分配能力。
统一接入与 BYOK (自带密钥/算力)
统一不同模型服务接口规范,支持企业 Bring Your Own Key (BYOK) 与已有算力凭证。企业完全掌控模型商业合同与直接访问权限,无需将 API 密钥分散暴露给各个业务团队,从根本上杜绝凭据泄漏隐患。
策略配置与路由调度
根据业务场景要求(如长文本理解、复杂推理、日常查询或高并发响应),灵活配置模型选用策略与候补降级规则。当特定模型出现暂时拥堵或供应商异常时,系统自动平滑切换至备用模型,支持提升可用性。
调用控制与异常防御
提供组织与项目级别的并发限制、请求超时与自动重试策略。建立统一的敏感信息过滤与日志脱敏边界,防止关键业务请求中断或敏感合规数据外溢,为生产调用构筑坚实屏障。
用量与费用多维归集
对所有模型调用的 Token 消耗、请求次数和响应状态进行结构化记录。将底层复杂的原始计量统一折算,并按业务项目、调用部门与任务类型进行清晰的成本归集,告别粗放的黑盒计费。
多维度预算管控与业务成本归因
| 业务项目 / 部门 | 主要调用模型 | 消耗计量 | 归集占比 |
|---|---|---|---|
| 研报生成自动化 · 分析组 | 复杂推理模型 | 结构化记录 | 38.4% |
| 企业合规审核 · 风控部 | 长上下文模型 | 结构化记录 | 26.1% |
| 全员知识查询 · 协同办 | 通用基础模型 | 结构化记录 | 19.5% |
| 内部研发辅助 · 技术中心 | 私有开源微调模型 | 内部算力时长 | 16.0% |
支持在调用请求中透传自定义审计 Tag,无缝与企业内部 ERP、财务报销及成本中心系统对接。
BYOK 模式下的费用结算构成
为确保企业财务透明与采购合规,Universal Gateway 实施清晰的账单边界划分。企业使用自有密钥接入时,模型采购与平台治理服务独立核算。
企业使用自有 API Key 时,模型推理生成的 Token 消耗直接由企业与相应模型提供商结算。ARK 不在其中赚取模型差价,亦不干预企业的商务采购折扣与结算协议。
Universal Gateway 提供的统一网关接入、路由策略执行、状态监控、安全审计、平台运维支持与 SLA 保障,按 Ark Mesh 平台订阅/许可及网关服务约定另行收取。
清晰边界:模型调用 vs 业务执行
Ark Mesh 架构强调控制平面的精细解耦:模型网关管“调用与生成”,业务运行时管“状态与执行”。
Universal Gateway (模型接入与路由)
专注于“模型调用层面”
Agent Runtime (智能体运行时)
专注于“业务系统执行层面”
模型网关能返回一段执行建议,不代表该操作已获得执行权限;所有对企业核心数据库、ERP 或 CRM 的真实写操作,必须交由 Agent Runtime 经过严密的业务规则、权限校验与人工确认后方可落地。
为您的企业搭建统一可控的模型接入底座
无论是接入首个业务应用,还是统筹全集团多模型预算与路由,ARK 团队均可提供架构规划与落地支持。