2015/03/02 Version 1.0.0

Fluentd プラグイン

IIJ GIOストレージ＆アナリシスサービスでは、ストレージへのデータ収集用ツールであるFluentdのプラグインが用意されています

概要

Fluentd の IIJ GIOストレージ＆アナリシスサービス向けアウトプットプラグインではローカルファイルのイベントログをバッファーし、解析可能な構造へ変換して定期的にアップロードします。

また、このプラグインはイベントログの時間を参照して正確にファイルを分割します。
データの格納構造は以下のようになります。
dag://${database(bucket)}/${table}/date=yyyymmdd/hour=%-H/dag_%-M_0.gz

データフォーマットは以下のように \n 区切りのjson文字列となります。

{"time":${unixtime}, "v":"${record}"}
{"time":${unixtime}, "v":"${record}"}
...

必要なもの

インストール

Rubygems.orgよりインストール

$ gem install fluent-plugin-dag

また以下のURLからGemファイルをダウンロードし、Gemファイル名を指定してインストールすることも可能です。

$ gem install fluent-plugin-dag-1.0.1.gem

設定

設定ファイルを用意

<match pattern>
  type dag

  dag_key_id          YOUR_DAGRIN_KEY_ID
  dag_sec_key         YOUR_DAGRIN_SECRET_KEY
  dag_endpoint        storage-dag.iijgio.com
  dag_database        sample_db
  dag_table           sample_tbl
  buffer_path         local_path
  flush_interval      5m
  buffer_chunk_limit  100m
</match>
表. Fluentdプラグイン設定パラメータ一覧
パラメータ名 必須 デフォルト値 概要
dag_key_id
  ストレージサービスのaccess key id
dag_sec_key
  ストレージサービスのsecret key
dag_database
  ストレージサービスのbucket名
dag_table
  ストレージサービスのテーブル名
dag_endpoint
  ストレージサービスのエンドポイント名
auto_create_bucket   true ストレージサービス上に bucket が存在しない場合作成するフラグ
check_apikey_on_start   true 起動時にストレージサービスのkeyを確認するフラグ
proxy_uri     プロキシ環境でのURI
buffer_path
  バッファー対象ファイルのファイルパス
flush_interval   5分 ログの送信時間(秒)。1分以上の時間を指定してください。s（秒）、m（分）、h（時）で単位指定が可能です。
buffer_chunk_limit   8MB バッファーの最大サイズ。このサイズを超えるとバッファーから強制的にflushされます。ストレージサービスでは100MBが推奨されています。接尾辞 “k” (KB)、 “m” (MB)、 “g” (GB) が使用できます。
utc     UTC使用フラグ

起動方法

fluend.confを設定ファイルとした場合、以下のようにコマンドを実行する

fluentd -c ./fluend.conf -d fluentd.pid -l fluentd.log -vvv

License

Apache License 2.0

ページ先頭へ