日志数据的哈希处理与脱敏
哈希处理和脱敏帮助您在将日志发送到 Site24x7 AppLogs 时隐藏敏感数据。
日志数据脱敏
在将日志发送到 Site24x7 之前,您可以使用脱敏规则隐藏敏感信息,防止其被发送到 Site24x7。您需要将要脱敏的表达式配置为正则表达式中的捕获组。您可以提供自定义脱敏字符串,也可以使用默认值(***)。
日志授权的计算在应用脱敏或哈希过滤器之后进行。如果脱敏减小了日志大小,则在统计扫描日志总大小时将使用较小的大小。
请看以下 Apache 访问日志的示例:
209.85.238.199 - - [26/Oct/2021:10:05:15 +0000] "GET presentations/details?apiKey=877avjkj329082j30sf83s1&type=ppt HTTP/1.1" 200 1370 "-" "Feedfetcher-Google; (+http://www.google.com/feedfetcher.html; 1 subscribers; feed-id=11390274670024826467)"
在这里,您需要脱敏请求 URI 中的 apiKey 参数值(877avjkj329082j30sf83s1)。
您可以使用 apiKey=(.*)& 表达式,这样转发到 Site24x7 的日志将如下所示:
209.85.238.199 - - [26/Oct/2021:10:05:15 +0000] "GET presentations/details?apiKey=API_KEY&type=ppt HTTP/1.1" 200 1370 "-" "Feedfetcher-Google; (+http://www.google.com/feedfetcher.html; 1 subscribers; feed-id=11390274670024826467)"
- 如果要对字段中的完整数据进行脱敏,请在表达式中使用 (.*)。
- 不要对超出必要范围的日志进行匹配。例如,不要使用以下表达式,因为它匹配的范围超出了需要:
GET\s[\w\/]*\?apiKey=(.*)& - 您可以指定多个捕获组。请注意,如果在一个过滤器中指定了多个捕获组,每个值将以相同的方式进行脱敏。因此,如果您为用户的电子邮件地址和手机号码创建一个过滤器,两者都将被替换为相同的脱敏字符串。
日志数据哈希处理
哈希处理与脱敏类似,但表达式被替换为 MD5 哈希码,数据在发送到 Site24x7 之前被完全隐藏。每个唯一值都有唯一的哈希码。您需要将要哈希处理的表达式配置为正则表达式中的捕获组。
例如,考虑以下日志行:
209.85.238.199 - - [26/Oct/2021:10:05:15 +0000] "GET user/details?apiKey=877avjkj329082j30sf83s1&email=david@zylker.com HTTP/1.1" 200 1370 "-" "Feedfetcher-Google; (+http://www.google.com/feedfetcher.html; 1 subscribers; feed-id=11390274670024826467)"
在这里,您需要对请求 URI 中的电子邮件参数值(david@zylker.com)进行哈希处理。
您可以使用 &email=(.*)\s 表达式,这样转发到 Site24x7 的日志将如下所示:
209.85.238.199 - - [26/Oct/2021:10:05:15 +0000] "GET user/details?apiKey=877avjkj329082j30sf83s1&email=706e02761ac7b8e758695db3a69e2fc1 HTTP/1.1" 200 1370 "-" "Feedfetcher-Google; (+http://www.google.com/feedfetcher.html; 1 subscribers; feed-id=11390274670024826467)"
此外,您可以指定多个匹配组。如果指定了多个匹配组,每个值将被单独哈希处理。
表达式:&email=(.*)&mobile=(.*)&
通过 Site24x7 Web 客户端进行哈希处理和日志记录
按照以下步骤将哈希和脱敏规则应用于日志数据:
- 登录 Site24x7。
- 前往管理 > AppLogs > 日志类型。
- 点击所需的日志类型。
- 在弹出的编辑日志类型界面中,前往 字段配置。
- 启用脱敏:切换为是以启用脱敏。提供要脱敏的数据的脱敏表达式(作为正则表达式中的捕获组)和脱敏字符串。
- 启用哈希处理:切换为是以启用哈希处理。提供哈希表达式,并将要哈希处理的数据作为正则表达式中的捕获组包含。
- 点击应用。
- 点击保存。
Site24x7 将根据您的配置开始接收经过哈希处理和脱敏的日志数据。

