Google Cloud Dataflow 监控集成

Site24x7 通过监控关键指标，帮助您充分利用 Google Cloud Dataflow，助力您精细调优这项全托管无服务器数据处理服务。借助 Site24x7 的 Google Cloud Dataflow 监视器，为大规模数据处理和分析任务构建与执行数据处理管道将更加便捷。

设置与配置

在配置新 Google Cloud 监视器时添加 Google Cloud Dataflow

如果您尚未配置 Google Cloud 监视器，请按照以下步骤添加：
1. 登录您的 Site24x7 账户。
2. 前往云 > GCP > 添加 GCP 监视器，或依次选择管理 > 云监控 > Google Cloud Platform（GCP）。
3. 提供唯一的显示名称以便识别。
4. 上传包含服务账号私钥的 JSON 文件，以便 Site24x7 进行身份验证并执行资源发现。
5. 在选择要监控的资源列表中选择 Cloud Dataflow。
6. 选择现有的通知配置文件、用户告警组、标签和 IT 自动化模板，或新建相应项目。您也可以将 Site24x7 告警与您偏好的第三方服务集成。
7. 点击开始 GCP 监控。
将 Google Cloud Dataflow 添加到现有 Google Cloud 监视器

如果您已为服务账号配置了 Google Cloud 监视器，可按照以下步骤添加 Google Cloud Dataflow：
1. 登录您的 Site24x7 账户。
2. 前往云 > GCP，然后选择您的 GCP 监视器。
3. 点击服务视图旁的汉堡图标，选择编辑，进入编辑 GCP 监视器页面。
4. 在编辑 GCP 监视器页面，从选择要监控的资源列表中选择 Cloud Dataflow，然后点击保存。
5. 配置成功后，前往云 > GCP > Cloud Dataflow，即可查看已发现的 Google Cloud Dataflow 资源。

注意

发现新 GCP 资源大约需要五分钟时间。

轮询频率

Site24x7 的 Google Cloud Dataflow 监视器按分钟收集指标数据，并每五分钟报告一次 Google Cloud Dataflow 的状态。

支持的指标

指标名称	描述	统计方式	单位
活跃数据大小	数据采集时作业中活跃数据的平均大小	平均值	字节
吞吐量	数据采集时作业消耗的数据平均大小	平均值	字节
当前处理键值范围可用性	已分配工作且可执行工作的流式处理键所占的比例	总计	百分比
目标工作节点实例数	所需工作节点实例的总数	总计	计数
计费的 Shuffle 数据处理量	符合 Dataflow 计费条件的 Shuffle 数据总量	总计	字节
当前使用中的 vCPU 数量	Dataflow 正在使用的 vCPU 总数	总计	计数
当前使用中的 Shuffle 槽数量	Dataflow 使用的 Shuffle 槽总数	总计	计数
数据水印延迟	自 Dataflow 处理其第一条数据以来经过的时间	平均值	秒
已用时间	活跃管道消耗的时间	平均值	秒
元素计数	添加到 PCollection 中的元素总数	总计	计数
估计字节数	添加到 PCollection 中的估计字节数	平均值	计数
失败	指示作业是否已失败	状态	布尔值
状态	指示管道的当前状态。可能的值包括：运行中、已完成、已取消和已失败。	状态	文本
系统延迟	数据等待处理的最长时间	平均值	秒
PD 总使用时间	活跃管道相关所有工作节点使用的所有持久磁盘的总 GB 秒数	总计	秒
总内存使用时间	分配给此 Dataflow 的数据总 GB 秒数	总计	秒
Shuffle 数据处理总量	Dataflow 处理的 Shuffle 数据总大小	总计	字节
流式数据处理总量	Dataflow 处理的流式数据总大小	总计	字节
vCPU 总时间	Dataflow 消耗的 vCPU 总时间	总计	秒
用户计数器	用户自定义的计数器指标	状态	布尔值

阈值配置

全局配置
1. 在 Site24x7 Web 客户端中，前往左侧导航栏的管理部分。
2. 从左侧窗格选择配置文件，然后从下拉菜单中选择阈值和可用性。
3. 点击右上角的添加阈值配置文件。
4. 在监视器类型中，选择 Cloud Dataflow。
5. 现在可以为上述指标设置阈值。
监视器级别配置
1. 在 Site24x7 Web 客户端中，前往云 > GCP > Cloud Dataflow。
2. 选择要设置阈值的资源，然后点击汉堡图标。
3. 选择编辑，进入编辑 Cloud Dataflow 监视器页面。
4. 可使用阈值和可用性选项为各项指标设置阈值。
5. 您还可以在属性级别配置 IT 自动化。

IT 自动化

Site24x7 提供一套专属的 IT 自动化工具，可自动解决性能降级问题。这些工具能够主动响应事件，无需等待人工干预。IT 自动化工具可自动执行重复性任务，并在违反阈值时自动进行修复。告警引擎持续评估已设置阈值的系统事件，并在发生违规时执行已映射的自动化操作。

如何为监视器配置 IT 自动化

配置规则

编辑多个监视器以关联不同的监视器组或添加不同标签可能是一项繁琐的工作。借助 Site24x7 的配置规则，您可以自动化管理监控资源的配置设置。此外，Site24x7 还允许您创建自定义规则，持续跟踪配置变更，以实现理想的配置状态。

如何添加配置规则

摘要

摘要标签页将按时间维度展示上述指标的性能数据。查看摘要的步骤：

前往云 > GCP > Cloud Dataflow。
选择一个资源。
点击摘要标签页。

配置详情

配置详情标签页提供应用程序实例的配置详细信息。获取配置详情的步骤：

前往云 > GCP > Cloud Dataflow。
选择一个资源。
点击配置详情标签页。

报表

通过我们直观的报表，深入了解受监控资源各项参数的详细数据，提升您的服务性能。

查看 Google Cloud Dataflow 资源报表的步骤：

前往左侧导航栏的报表部分。
从左侧菜单中选择 Cloud Dataflow。
您可以查看单个监视器的可用性摘要报表、性能报表和库存报表；或查看所有 Google Cloud Dataflow 监视器的摘要报表、可用性摘要报表、健康趋势报表和性能报表。

您也可以从 Google Cloud Dataflow 监视器的摘要标签页获取报表：

点击摘要标签页。
点击可用性获取该监视器的可用性摘要报表。
点击任意图表标题即可获取该监视器的性能报表。