从 Google Cloud Platform 转发日志
Google Cloud Platform(GCP)日志提供了您的云环境的全面视图。将 GCP 日志转发到 Site24x7 AppLogs,以分析和监控来自 GCP 资源的日志数据。
从 GCP 转发日志包含以下步骤:
- Google Cloud 服务(如 Google Compute Engine、Google Kubernetes Engine(GKE)、Google App Engine、Google Cloud Functions、Google Cloud Pub/Sub 及其他服务)将日志写入 Google Cloud Logging。
- 配置日志路由接收器,将日志条目发布到 Google Cloud Pub/Sub 主题。
- 将我们的 Dataflow Flex 模板部署到 Google Cloud Platform,创建一个 Dataflow 作业,从所创建的主题读取日志并将处理后的日志数据导出到 Site24x7。

前提条件
已登录的用户应具有该项目的所有者级别权限。
转发 GCP 日志的步骤
按照以下步骤将 GCP 日志转发到 AppLogs:
创建资源
按照以下步骤:
创建 Pub/Sub 主题:
运行以下命令,并将 TOPIC_NAME 替换为您的 Pub/Sub 主题所需名称。
gcloud pubsub topics create TOPIC_NAME
创建订阅:
运行以下命令,并将 SUBSCRIPTION_NAME 替换为所需的订阅名称,TOPIC_NAME 替换为您创建的主题名称。
gcloud pubsub subscriptions create SUBSCRIPTION_NAME --topic=TOPIC_NAME
创建日志路由接收器:
运行以下命令,并将 SINK_NAME 替换为所需名称,PROJECT_ID 替换为您的 Google Cloud 项目 ID,TOPIC_NAME 替换为您创建的主题名称。
gcloud logging sinks create SINK_NAME pubsub.googleapis.com/projects/PROJECT_ID/topics/TOPIC_NAME
如果只想转发特定类型的日志、日志级别或来自特定资源的日志,请配置日志过滤器(--log-filter="LOG_FILTER")。
例如,对于 VPC Flow 日志,可以按如下方式配置 log-filter:
gcloud logging sinks create SINK_NAME pubsub.googleapis.com/projects/PROJECT_ID/topics/TOPIC_NAME --log-filter='resource.type="gce_subnetwork"'
启用 Dataflow 项目:
运行以下命令,并将 PROJECT_ID 替换为项目名称。
gcloud services enable dataflow --project PROJECT_ID
在 GCP 中运行 Dataflow Flex 模板
执行以下命令,在 GCP 中运行 Dataflow Flex 模板。
gcloud dataflow flex-template run "TEMPLATE_NAME" --project=PROJECT_ID --template-file-gcs-location=gs://site24x7_applog/dataflow/v1/flex/Cloud_PubSub_to_Site24x7 --region=REGION --parameters "inputSubscription=projects/PROJECT_ID/subscriptions/INPUT_SUBSCRIPTION_NAME,apiKey=API_KEY,site24x7Domain=site24x7.com"
您可以通过登录 Site24x7 > 管理 > 开发者 > 设备密钥来获取 API_KEY
禁用日志转发
- 禁用日志接收器。
- 然后停止 Dataflow 作业。
