大语言模型（LLM）可观测性

Site24x7 目前支持 OpenAI。OpenAI 可观测性功能提供对您 OpenAI 实现的全面可视化。

深入了解您的 OpenAI 使用情况，执行按模型的成本分析，记录提示词和响应，识别错误等——全面实时跟踪您的 OpenAI 实现的性能与利用率。

使用场景

借助 Site24x7 OpenAI 可观测性功能，您可以监控应用程序向 OpenAI 发起的所有外部调用，全面了解应用程序与 OpenAI 服务的交互情况。

例如，考虑一个使用 OpenAI 生成用户查询响应的客户支持聊天机器人。当用户提出问题时，聊天机器人会调用 OpenAI 以获取合适的响应。Site24x7 OpenAI 监控模块会捕获这些请求，跟踪响应时间、成功率和错误等指标。此外，它还能帮助您深入了解 OpenAI Token 使用情况，执行按模型的成本分析，以及记录提示词和响应。

这种全面的监控确保您能够实时跟踪 OpenAI 实现的性能与利用率，优化成本，并维持无缝的用户体验，从而提升客户满意度和运营效率。

添加 OpenAI 可观测性的操作步骤

要安装 OpenAI 模块，请按以下说明操作：
Node.js | Python

Node.js

1. 打开您的 Node.js 应用程序。
2. 访问 node 包管理器（NPM）。
3. 使用以下命令安装 site24x7 openai 模块：

   npm install @site24x7/openai-observability --save

4. 在应用程序源代码的第一行添加以下语句，位于任何其他 import 或 require 语句之前。
   • 如果您使用 ES 或 Typescript：

     import * as site24x7-openai from '@site24x7/openai-observability'

   • 如果您使用 Common JS：

     require('@site24x7/openai-observability')

5. 从 Site24x7 控制台复制许可证密钥。
   
   
6. 按如下所示将许可证密钥设置为环境变量：

   SITE24X7_LICENSE_KEY=<YOUR LICENSE KEY HERE>

7. 重启应用程序。

将配置值设置为环境变量：

您可以使用以下密钥将采样因子和捕获 OpenAI 文本等配置值设置为环境变量：

• SITE24X7_SAMPLING_FACTOR
• SITE24X7_CAPTURE_OPENAI_TEXT

Python

1. 使用以下命令安装 site24x7-openai 模块：

   pip install site24x7-openai-observability --upgrade

   注意

   如果您使用虚拟环境，请激活虚拟环境后执行上述命令，将 site24x7-openai-observability 包安装到虚拟环境中。

2. 在应用程序的启动文件中添加以下代码，以集成可观测性代理：

   import site24x7_openai_observability

3. 从 Site24x7 控制台复制许可证密钥。
   
   
4. 按如下所示将许可证密钥设置为环境变量：

   SITE24X7_LICENSE_KEY=<YOUR LICENSE KEY HERE>

5. 重启应用程序。

其他配置：

您可以使用以下密钥将采样因子和捕获 OpenAI 文本配置为环境变量：

性能指标

开始使用：

1. 登录 Site24x7 Web 客户端。
2. 前往 APM > OpenAI。

顶部横幅显示平均响应时间、请求数量、平均 Token 数和成本。

平均响应时间

此图表描绘了所选时间段内请求的平均响应时间。最小值为最短响应时间，最大值为最长响应时间。

HTTP 响应码

此图表提供了收到的各类 HTTP 响应的摘要。将鼠标悬停在每个峰值上可获取请求数量。

模型使用情况

模型使用情况组件以独立色块的形式显示每个模型发送的请求百分比，各色块均有颜色编码以便识别。将鼠标悬停在每个色块上可查看请求总数。

每个模型的成本

此表格提供所有模型及其成本的整体摘要。

按模型分类的吞吐量

可查看指定时间段内每个模型发送的请求总数。将鼠标悬停在峰值处可获取该模型的精确请求数量。

错误

提供已发生错误的响应码、错误消息和数量的整体摘要。