---
title: AthenaとFluentdと色々でログ集約をしてみたお話し
tags:  #aws #fluentd #athena #ログ集約  
author: [Yuta](https://www.docswell.com/user/Yuta)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/DK7426PJ1Q.jpg?width=480
description: こちらの記事をベースにしたLT資料です。 https://zenn.dev/yuta28/articles/ae8b1379aa873c
published: March 07, 21
canonical: https://www.docswell.com/s/Yuta/75N1QZ-athena-fluentd-logcollected
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/DK7426PJ1Q.jpg)

AthenaとFluentdと色々でログ集 約をしてみたお話し

# Page. 2

![Page Image](https://bcdn.docswell.com/page/PLJ1MVXEGD.jpg)

自己紹介 Name：ユータ Occupation：SRE Twitter：@Y0u281 （オーでなくゼロです） ブログ：https://zenn.dev/yuta28 → 普段触るもの：AWS Ansible Linux Mint Twitter

# Page. 3

![Page Image](https://bcdn.docswell.com/page/8GJW3LKJ26.jpg)

目次 ● 背景 ● やったこと ● 構築完成予想図 ● 運用開始後のフィードバック ● まとめ

# Page. 4

![Page Image](https://bcdn.docswell.com/page/W4EZVMNJ3Y.jpg)

背景

# Page. 5

![Page Image](https://bcdn.docswell.com/page/KY765N9EVZ.jpg)

やったこと ● 各種EC2にFluentdを導入し、ログをS3に転送する ● S3に格納されたログをGlueを使ってテーブル定義づけする ● Athenaでクエリを発行して、複数ログを検索して一覧化できるようにする ● CloudWatch LogsのログはKinesisを用いてS3へ転送

# Page. 6

![Page Image](https://bcdn.docswell.com/page/5G75Y5D748.jpg)

構築完成予想図 ● 対象ログ ○ ○ ○ ○ ○ Apacheログ Railsログ Postﬁxログ SlowQueryログ (CloudTrailログ)

# Page. 7

![Page Image](https://bcdn.docswell.com/page/V9J2GGMJRX.jpg)

運用開始後のフィードバック ● ● ● ApacheログとRailsの日付ログフォーマットが異なっており、同一時間帯で比較 ができない Fluentdはログデータを加工された状態で転送するので生データのログも参照で きるようにしたい SlowQueryログのクエリタイムでソートできるようにしてほしい

# Page. 8

![Page Image](https://bcdn.docswell.com/page/5DEYVVPEM9.jpg)

日付ログフォーマット異なる問題 Apacheログの日付フォーマット→ 08/Dec/2020:19:13:01 +0900 Railsログの日付フォーマット→ 2020-12-08T23:41:30.980713

# Page. 9

![Page Image](https://bcdn.docswell.com/page/2VJNMMM78K.jpg)

日付ログフォーマット異なる問題 解決方法① UNIXTIMEを新規にカラムに追加 &lt;inject&gt; time_key fluentd_time time_type unixtime &lt;/inject&gt; 2020/12/9 00:29:52なら 1607441392秒となる

# Page. 10

![Page Image](https://bcdn.docswell.com/page/GYE9NNWE3P.jpg)

ログの生データも検索できるようにしたい ApacheのログはFluentdのプラグインで 綺麗にパースできる。 ログの中身が加工されるが、場合によっては 生データが欲しい場合がある。 https://docs.ﬂuentd.org/conﬁg uration/parse-section &lt;parse&gt; @type apache2 &lt;/parse&gt; time: 1362020400 (28/Feb/2013:12:00:00 +0900) record: { &quot;user&quot; : nil, &quot;method&quot; : &quot;GET&quot;, &quot;code&quot; : 200, &quot;size&quot; : 777, &quot;host&quot; : &quot;192.168.0.1&quot;, &quot;path&quot; : &quot;/&quot;, &quot;referer&quot;: nil, &quot;agent&quot; : &quot;Opera/12.0&quot; }

# Page. 11

![Page Image](https://bcdn.docswell.com/page/5GE8KKR7DR.jpg)

ログの生データも検索できるようにしたい 解決方法② raw_data(生データ)というレコードを末尾に追記した。 &lt;filter td.apache.access**&gt; @type record_transformer &lt;record&gt; raw_data ${record[&quot;host&quot;]} ${record[&quot;user&quot;]} ${record[&quot;time&quot;]} ${record[&quot;method&quot;]} ${record[&quot;path&quot;]} ${record[&quot;code&quot;]} ${record[&quot;size&quot;]} ${record[&quot;referer&quot;]} ${record[&quot;agent&quot;]} &lt;/record&gt; &lt;/filter&gt;

# Page. 12

![Page Image](https://bcdn.docswell.com/page/MLELZZ2JR1.jpg)

ログの生データも検索できるようにしたい time: 1362020400 (28/Feb/2013:12:00:00 +0900) raw_dataに全て のレコード情報が 書き込まれた record: { &quot;user&quot; : nil, &quot;method&quot; : &quot;GET&quot;, &quot;code&quot; : 200, &quot;size&quot; : 777, &quot;host&quot; : &quot;192.168.0.1&quot;, &quot;path&quot; : &quot;/&quot;, &quot;referer&quot;: nil, &quot;agent&quot; : &quot;Opera/12.0&quot; “raw_data” : 192.168.0.1 nil 28/Feb/2013:12:00:00 +0900 GET / 777 nil Opera/12.0 }

# Page. 13

![Page Image](https://bcdn.docswell.com/page/54JMVV9JW1.jpg)

クエリタイムでソートできるようにしたい select query_time,messege from slowquery; みたいにしたい

# Page. 14

![Page Image](https://bcdn.docswell.com/page/ZPJR229E9L.jpg)

クエリタイムでソートできるようにしたい import base64 解決方法③ いい手が思いつかず… import gzip import io import json def lambda_handler(event, context): records = [process_record(r) for r in event[&#039;records&#039;]] return {&#039;records&#039;: records } def process_record(record): record_id = record[&#039;recordId&#039;] CWLにSlowQueryログが来たら→の data = base64.b64decode(record[&#039;data&#039;]) iodata = io.BytesIO(data) with gzip.GzipFile(fileobj=iodata, mode=&#039;r&#039;) as f: data = json.loads(f.read()) Lambdaを実行してKinesisでS3に転送 processed_data = process_data(data) + &#039;\n&#039; return { &#039;data&#039;: base64.b64encode(processed_data.encode(&#039;utf-8&#039;)).decode(&#039;utf-8&#039;), &#039;result&#039;: &#039;Ok&#039;, &#039;recordId&#039;: record_id } def process_data(data): return &#039;\n&#039;.join([format_log_event(json) for json in data[&#039;logEvents&#039;]]) def format_log_event(j): return json.dumps({&#039;timestamp&#039;: j[&#039;timestamp&#039;], &#039;message&#039;: j[&#039;message&#039;]})

# Page. 15

![Page Image](https://bcdn.docswell.com/page/NPEXDD37XY.jpg)

クエリタイムでソートできるようにしたい 暫定的な対応策としてawslogsを使用(https://github.com/jorgebastida/awslogs) $ awslogs get &lt;SlowQueryログ&gt; --start=&#039;MM/DD/YYYY&#039; --end=’MM/DD/YYYY’ 踏み台サーバにインストールして ターミナル上から SlowQueryログの 中身を表示 &lt;SlowQueryログ&gt; &lt;リージョン&gt; # Time: 180606 15:00:02 # User@Host: rdsadmin[rdsadmin] @ localhost [] Id: 18 # Query_time: 0.507831 Lock_time: 0.000000 Rows_sent: 0 Rows_examined: 0 SET timestamp=1528297202; FLUSH SLOW LOGS ; とは言えAthenaで他のログと 一緒に検索できないのは悔しい

# Page. 16

![Page Image](https://bcdn.docswell.com/page/63EKXXN7DY.jpg)

まとめ ・ログを集約することで検索性UP ・SlowQueryログどうしよう🤔

# Page. 17

![Page Image](https://bcdn.docswell.com/page/4L7355ZE5P.jpg)

ありがとうございました より詳しい内容は私のブログで⇓ FluentdとAWS Athenaでログ集約 してみた https://zenn.dev/yuta28/articles/a e8b1379aa873c

