Substratus

什么是"Substratus"？

Substratus.AI是一款全面管理的私人LLM（Large Language Model）服务，用户可以在自己的云账户中运行LLMs，以保护隐私并节省成本。Substratus.AI支持Llama和Mistral两种LLM模型，用户可以在几小时内将LLMs部署到生产环境中，而不是等待数周。

"Substratus"有哪些功能？

• 支持Llama 3.1 8B Instruct和Mistral 7B Instruct v0.2等开源LLM模型。
• 自动扩展LLMs，根据GPU资源的情况从0扩展到无限。
• 完全管理LLM服务栈，包括模型管理。
• 支持批量推理，可以自动扩展GPU资源以在几小时内完成作业。

产品特点：

• 可以在用户自己的云账户或K8s集群上运行，节省成本并保护数据隐私。
• 基于开源Lingo OSS的LLM服务栈，用户可以随时切换到自行管理模式。
• 支持Pub/Sub集成，可以实现批量推理和跨多个区域的推理。

应用场景：

Substratus.AI适用于以下场景：

• 大规模文档摘要：用户可以利用Substratus加速大规模文档摘要的推理过程，节省时间和成本。
• 批量推理作业：用户可以利用Substratus进行批量推理作业，快速完成大规模推理任务。

"Substratus"如何使用？

1. 注册并登录Substratus.AI账户。
2. 选择适合您的套餐计划，开始使用LLM服务。
3. 部署您的LLM模型到您的云账户或K8s集群。
4. 开始利用LLM模型进行推理作业或批量推理任务。

常见问题：

Q: Substratus.AI支持哪些LLM模型？
A: Substratus.AI支持Llama 3.1 8B Instruct和Mistral 7B Instruct v0.2等开源LLM模型。

Q: 如何保护数据隐私？
A: 用户可以在自己的云账户中运行LLMs，以保护数据隐私。

Q: 是否可以自行管理LLM服务栈？
A: 是的，Substratus.AI基于开源Lingo OSS，用户可以随时切换到自行管理模式。