Kinesis Data Firehose 集成
这是一项全托管服务，可帮助您以近实时的方式将流数据持续加载到数据存储及其他目标位置。借助 Site24x7 的 AWS 集成，您可以监控吞吐量、传输、数据转换和 API 活动等指标，以确保记录能够顺利到达目标位置。
设置与配置
- 如果尚未完成，请通过将 Site24x7 创建为 IAM 用户，或在您的账号与 Site24x7 的 AWS 账号之间创建跨账号 IAM 角色，来启用对 AWS 资源的访问。了解更多。
- 接下来，在集成 AWS 账号页面，请确保在待发现服务字段中已勾选 Kinesis Firehose 复选框。了解更多。
策略与权限
请确保分配给 Site24x7 实体的 IAM 策略中包含以下只读级别的 API 操作。了解更多。
- "firehose:ListDeliveryStreams",
- "firehose:ListTagsForDeliveryStream",
- "firehose:DescribeDeliveryStream"
轮询频率
通过查询 CloudWatch API，按照设定的轮询频率（1 分钟到 1 天）收集性能指标。了解更多。
查看指标
- 登录 Site24x7 控制台，单击 AWS > 已监控的 AWS 账号，然后从下拉菜单中选择 Kinesis Firehose。
- 从受监控的传输流列表中，选择您要查看指标的流。
- 适用于您的传输流的各种图表将显示在流详情标签中。
支持的指标
以下指标按每条传输流级别收集：
基于备份
| 属性 | 描述 | 数据类型 | 统计方式 |
|---|---|---|---|
| BackupToS3.Bytes | 测量备份传输到 Amazon S3 的字节数。 | Bytes | Sum |
| BackupToS3.DataFreshness (Sum) | 测量 Kinesis Data Firehose 中最旧记录的时效性。任何比此时效更旧的记录均已传输到 Amazon S3 存储桶进行备份。 | Seconds | Sum |
| BackupToS3.DataFreshness (Maximum) | 测量 Kinesis Data Firehose 中最旧记录的时效性。任何比此时效更旧的记录均已传输到 Amazon S3 存储桶进行备份。 | Seconds | Maximum |
| BackupToS3.Records | 测量备份传输到 Amazon S3 的记录数。 | Count | Sum |
| BackupToS3.Success | 测量备份时 Amazon S3 成功 put 命令数与所有 Amazon S3 备份 put 命令数的比值。 | Count | Sum |
基于目标
| 属性 | 描述 | 数据类型 | 统计方式 |
|---|---|---|---|
| DeliveryToElasticsearch.Bytes | 测量索引到 Amazon ES 的字节数。 | Bytes | Sum |
| DeliveryToElasticsearch.Records | 测量索引到 Amazon ES 的记录数。 | Count | Sum |
| DeliveryToElasticsearch.Success | 测量成功索引的记录数与尝试索引的记录数的比值。 | Count | Sum |
| DeliveryToRedshift.Bytes | 测量复制到 Amazon Redshift 的字节数。 | Bytes | Sum |
| DeliveryToRedshift.Records | 测量复制到 Amazon Redshift 的记录数。 | Count | Sum |
| DeliveryToRedshift.Success | 测量成功的 Amazon Redshift COPY 命令数与所有 Amazon Redshift COPY 命令数的比值。 | Count | Sum |
| DeliveryToS3.Bytes | 测量在指定时间段内传输到 Amazon S3 的字节数。 | Bytes | Sum |
| DeliveryToS3.DataFreshness (Sum) | 测量 Kinesis Data Firehose 中最旧记录的时效性（从进入 Kinesis Data Firehose 到现在）。任何比此时效更旧的记录均已传输到 S3 存储桶。 | Seconds | Sum |
| DeliveryToS3.DataFreshness (Maximum) | 测量 Kinesis Data Firehose 中最旧记录的时效性（从进入 Kinesis Data Firehose 到现在）。任何比此时效更旧的记录均已传输到 S3 存储桶。 | Seconds | Maximum |
| DeliveryToS3.Records | 测量传输到 Amazon S3 的记录数。 | Count | Sum |
| DeliveryToS3.Success | 测量成功的 Amazon S3 put 命令数与所有 Amazon S3 put 命令数的比值。 | Count | Sum |
| DeliveryToSplunk.Bytes | 测量传输到 Splunk 的字节数。 | Bytes | Sum |
| DeliveryToSplunk.DataFreshness (Sum) | 测量 Kinesis Firehose 中最旧记录的时效性（从进入 Kinesis Firehose 到现在）。任何比此时效更旧的记录均已传输到 Splunk。 | Seconds | Sum |
| DeliveryToSplunk.DataFreshness (Maximum) | 测量 Kinesis Firehose 中最旧记录的时效性（从进入 Kinesis Firehose 到现在）。任何比此时效更旧的记录均已传输到 Splunk。 | Seconds | Maximum |
| DeliveryToSplunk.Records | 测量传输到 Splunk 的记录数。 | Count | Sum |
| DeliveryToSplunk.Success | 测量成功索引的记录数与尝试索引的记录数的比值。 | Count | Sum |
| IncomingBytes | 测量摄取到 Kinesis Data Firehose 流中的字节数。 | Bytes | Sum |
| IncomingRecords | 测量摄取到 Kinesis Data Firehose 流中的记录数。 | Count | Sum |
API 级别指标
| 属性 | 描述 | 数据类型 | 统计方式 |
|---|---|---|---|
| DescribeDeliveryStream.Latency | 测量每次 DescribeDeliveryStream 操作所花费的时间。 | Milliseconds | Average |
| DescribeDeliveryStream.Requests | 测量 DescribeDeliveryStream 请求的总数。 | Count | Sum |
| ListDeliveryStreams.Latency | 测量每次 ListDeliveryStream 操作所花费的时间。 | Milliseconds | Sum |
| ListDeliveryStreams.Requests | 测量 ListFirehose 请求的总数。 | Count | Sum |
| PutRecord.Bytes | 测量写入 Kinesis Data Firehose 传输流的字节数。 | Bytes | Sum |
| PutRecord.Latency | 测量每次 PutRecord 操作所花费的时间。 | Milliseconds | Sum |
| PutRecord.Requests | 测量 PutRecord 请求的总数。 | Count | Sum |
| PutRecordBatch.Bytes | 测量通过 PutRecordBatch 写入 Kinesis Data Firehose 传输流的字节数。 | Bytes | Sum |
| PutRecordBatch.Latency | 测量每次 PutRecordBatch 操作所花费的时间。 | Milliseconds | Average |
| PutRecordBatch.Records | 测量 PutRecordBatch 操作产生的记录总数。 | Count | Sum |
| PutRecordBatch.Requests | 测量 PutRecordBatch 请求的总数。 | Count | Sum |
| UpdateDeliveryStream.Latency | 测量每次 UpdateDeliveryStream 操作所花费的时间。 | Milliseconds | Average |
| UpdateDeliveryStream.Requests | 测量 UpdateDeliveryStream 请求的总数。 | Count | Sum |
数据转换指标
以下性能指标的数据点仅在启用了数据转换功能时才可用。
| 属性 | 描述 | 数据类型 | 统计方式 |
|---|---|---|---|
| ExecuteProcessing.Duration | 测量 Kinesis Data Firehose 执行每次 Lambda 函数调用所花费的时间。 | Seconds | Sum |
| ExecuteProcessing.Success | 测量成功的 Lambda 函数调用数与总 Lambda 函数调用数的比值。 | Count | Sum |
| SucceedProcessing.Records | 测量在指定时间段内成功处理的记录数。 | Count | Sum |
| SucceedProcessing.Bytes | 测量在指定时间段内成功处理的字节数。 | Bytes | Sum |
配置详情
以下通用配置数据按每条传输流级别收集：
| 属性 | 描述 |
|---|---|
| Stream name | 显示传输流的名称。 |
| Stream ARN | 显示传输流的 Amazon 资源名称（ARN）。 |
| Stream status | 显示传输流的当前状态。 |
| Stream Type | 显示索引的逻辑类别或类型。 |
| Version ID | 显示传输流的版本号。 |
| Delivery Start Time | 显示 Firehose 首次收到记录时的时间戳。 |
| Source Stream ARN | 显示源（直接来源或 Kinesis 流）的 Amazon 资源名称（ARN）。 |
| Source IAM Role | 显示附加到源流的 IAM 角色。 |
| Destination Type | 显示目标类型——ElasticSearch 集群、S3 存储桶、RedShift 或 Splunk。 |