Kinesis Data Firehose 集成

一项完全托管的服务，可帮助您近乎实时地将流数据连续加载到数据存储和其他目的地。通过 Site24x7 的 AWS 集成，您可以监控有关吞吐量、交付、数据转换和 API 活动的指标，以确保记录到达目的地。

设置和配置

如果您尚未这样做，请通过将 Site24x7 创建为 IAM 用户或通过在您的账户和 Site24x7 的 AWS 账户之间创建跨账户 IAM 角色来启用对 AWS 资源的访问。了解更多。
接下来，在集成AWS 账户页面中，请确保在Services to befound 字段中选中 Kinesis Firehose 复选框。了解更多。

策略和权限

请确保分配给 Site24x7 实体的 IAM 策略中存在以下读取级别 API 操作。了解更多。

"firehose:ListDeliveryStreams",
"firehose:ListTagsForDeliveryStream",
"firehose:DescribeDeliveryStream"

轮询频率

通过查询 CloudWatch API，根据轮询频率集（1 分钟到一天）收集性能指标。了解更多。

查看指标

登录到 Site24x7 控制台，单击AWS> Monitored AWS account，然后从下拉列表中选择 Kinesis Firehose
从监控的交付流列表中，选择要访问其指标的流。
适用于您的传输流的各种图表显示在流详细信息选项卡中。

支持的指标

在每个传输流级别上收集以下指标：

基于备份

属性	描述	数据类型	统计数据
BackupToS3.Bytes	监测传送到 Amazon S3 以进行备份的字节数。	字节	和
BackupToS3.DataFreshness（总和）	监测 Kinesis Data Firehose 中最旧记录的时间。任何早于此期限的记录都已传送到 Amazon S3 存储桶进行备份。	秒	和
BackupToS3.DataFreshness（最大值）	监测 Kinesis Data Firehose 中最旧记录的时间。任何早于此期限的记录都已传送到 Amazon S3 存储桶进行备份。	秒	最大
BackupToS3.Records	监测传送到 Amazon S3 进行备份的记录数。	计数	和
BackupToS3.Success	衡量用于备份的成功 Amazon S3 put 命令的总和与所有 Amazon S3 backup put 命令的总和。	计数	和

基于目的地

属性	描述	数据类型	统计数据
DeliveryToElasticsearch.Bytes	监测索引到 Amazon ES 的字节数。	字节	和
DeliveryToElasticsearch.Records	监测索引到 Amazon ES 的记录数。	计数	和
DeliveryToElasticsearch.Success	衡量成功索引记录的总和与尝试的记录总和。	计数	和
DeliveryToRedshift.Bytes	监测复制到 Amazon Redshift 的字节数。	字节	和
DeliveryToRedshift.Records	监测复制到 Amazon Redshift 的记录数。	计数	和
DeliveryToRedshift.Success	衡量成功的 Amazon Redshift COPY 命令的总和与所有 Amazon Redshift COPY 命令的总和。	计数	和
DeliveryToS3.Bytes	监测在指定时间段内传送到 Amazon S3 的字节数。	字节	和
DeliveryToS3.DataFreshness (Sum)	监测 Kinesis Data Firehose 中最旧记录的时间（从进入 Kinesis Data Firehose 到现在）。任何早于该时间的记录都已传送到 S3 存储桶。	秒	和
DeliveryToS3.DataFreshness（最大值）	监测 Kinesis Data Firehose 中最旧记录的时间（从进入 Kinesis Data Firehose 到现在）。任何早于该时间的记录都已传送到 S3 存储桶。	秒	最大
DeliveryToS3.Records	监测传送到 Amazon S3 的记录数。	计数	和
DeliveryToS3.Success	衡量成功的 Amazon S3 put 命令的总和与所有 Amazon S3 put 命令的总和。	计数	和
DeliveryToSplunk.Bytes	监测传送到 Splunk 的字节数。	字节	和
DeliveryToSplunk.DataFreshness（总和）	监测 Kinesis Firehose 中最古老记录的时间（从进入 Kinesis Firehose 到现在）。任何早于该时间的记录都已交付给 Splunk。	秒	和
DeliveryToSplunk.DataFreshness（最大值）	监测 Kinesis Firehose 中最古老记录的时间（从进入 Kinesis Firehose 到现在）。任何早于该时间的记录都已交付给 Splunk。	秒	最大
DeliveryToSplunk.Records	监测传送到 Splunk 的记录数	计数	和
DeliveryToSplunk.Success	衡量成功索引记录的总和与尝试的记录总和。	计数	和
传入字节	监测摄取到 Kinesis Data Firehose 流中的字节数。	字节	和
传入记录	监测摄取到 Kinesis Data Firehose 流中的记录数。	计数	和

API 级指标

属性	描述	数据类型	统计数据
DescribeDeliveryStream.Latency	监测每个 DescribeDeliveryStream 操作所花费的时间。	毫秒	平均的
DescribeDeliveryStream.Requests	监测 DescribeDeliveryStream 请求的总数。	计数	和
ListDeliveryStreams.Latency	监测每个 ListDeliveryStream 操作所花费的时间。	毫秒	和
ListDeliveryStreams.Requests	监测 ListFirehose 请求的总数。	计数	和
PutRecord.Bytes	监测放入 Kinesis Data Firehose 传输流的字节数。	字节	和
PutRecord.延迟	监测每个 PutRecord 操作所花费的时间。	毫秒	和
PutRecord.Requests	监测 PutRecord 请求的总数。	计数	和
PutRecordBatch.Bytes	使用 PutRecordBatch 监测放入 Kinesis Data Firehose 传输流的字节数。	字节	和
PutRecordBatch.延迟	监测每个 PutRecordBatch 操作所花费的时间。	毫秒	平均的
PutRecordBatch.Records	监测来自 PutRecordBatch 操作的记录总数。	计数	和
PutRecordBatch.Requests	监测 PutRecordBatch 请求的总数。	计数	和
UpdateDeliveryStream.Latency	监测每个 UpdateDeliveryStream 操作所花费的时间。	毫秒	平均的
UpdateDeliveryStream.Requests	监测 UpdateDeliveryStream 请求的总数	计数	和

数据转换指标

以下性能指标的数据点仅在您启用数据转换后才可用。

属性	描述	数据类型	统计数据
执行处理.持续时间	监测 Kinesis Data Firehose 执行的每个 Lambda 函数调用所花费的时间。	秒	和
执行处理.成功	衡量成功的 Lambda 函数调用的总和与总 Lambda 函数调用的总和。	计数	和
成功处理记录	监测指定时间段内成功处理的记录数。	计数	和
成功处理.Bytes	监测指定时间段内成功处理的字节数。	字节	和

配置详情

以下一般配置数据是按每个传输流收集的：

属性	描述
流名称	显示传输流的名称。
流 ARN	显示交付流的 Amazon 资源名称。
流状态	显示传输流的当前状态。
流类型	显示索引的逻辑类别或类型。
版本号	显示传输流的版本号
交付开始时间	显示 Firehose 首次接收记录时的时间戳。
源流 ARN	显示源的 Amazon 资源名称 - 直接或 Kinesis流。
源 IAM 角色	显示附加到源流的 IAM 角色。
目的地类型	显示目标 - ElasticSearch 集群、S3 存储桶、RedShift 或 Splunk