2015-09-24Updated 2020-05-07

エラーログをSlack通知する

環境

CentOS Linux release 7.1.1503 (Core)
td-agent: 0.12.12
Nginx: 1.8.0

概要

社内でSlackによる連携が進み
ログ管理もfluentdにまとめつつあるので
エラーログで何かあったらSlack通知させようと思いチャレンジ♪

以下のような流れを想定しています。

Nginx error.log —> fluentd —> slack

gemでも作るか！と思ったら既にSlack Pluginは豊富なので
あやからせていただきます！

準備

fluentdが/var/log/nginx/error.log にアクセスできるようにしておいてください。

ログがtailできないなんてときは以下参照♪

fluentd設定ハマった所あるある - 長生村本郷Engineers'Blog

以下随時追加。環境 CentOS Linux release 7.1.1503 (Core) Fluentd 0.12.12 Nginx 1.8.0 Permission denined パーミッションエラー！ # tail -f /var/log/td-agent/td-ag…

利用するfluentd Plugin

td-agent.conf設定

error.logフォーマット設定

Nginxのエラーログが以下のようにフォーマットされ出力されているとします。

2015/11/18 18:01:47 [error] 23029#0: *9086 open() "/var/golang/src/img/tmp.png" failed (2: No such file or directory), client: ***.**.**.****, server: hogehoge.jp, request: "GET /img/tmp.png HTTP/2.0", host: "hogehoge.jp", referrer: "http://hogehoge.jp"

fluentdのformat設定

1	format /^(?<time>.+) \[(?<level>[^\]]+)\] (?<message>.)$/

上記fomat設定によって以下のように key : value 構成で取得できます。

1
2
3

time : 2015/11/18 18:01
level : error
message : or] 23029#0: *9086 open() "/var/www/html/img/tmp.png" failed (2: No such file or directory), client: ***.**.**.****, server: hogehoge.jp, request: "GET /img/tmp.png HTTP/2.0", host: "hogehoge.jp", referrer: "http://hogehoge.jp"

設定によってはうまく通知させずハマりました汗

tag名をリライト

上記で取得した key:value を元に tagを書き換えます。

以下の例だと、
level が error の場合、 slack.error.${tag} (slack.error.nginx.error) にタグを書き換えてます。
他、warn, fatal も同様です。

<match nginx.error>
  type rewrite_tag_filter
  rewriterule1 level error slack.error.${tag}
  rewriterule2 level warn slack.warn.${tag}
  rewriterule3 level fatal  slack.fatal.${tag}
</match>

また message で取得した値の中に

特定文字列が含まれている場合等も可能です。

例) message に「PHP Fatal Error」で始まる文字列が含まれている場合にslack.fatal.${tag}に書き換える。

<match nginx.error>
  type rewrite_tag_filter
  rewriterule1 level error slack.error.${tag}
  rewriterule2 level warn slack.warn.${tag}
  rewriterule3 level fatal  slack.fatal.${tag}

  rewriterule4 message ^PHP Fatal Error.*$ slack.fatal.${fatal}    # 追加
</match>

フィールド追加

source_id 追加

time, level, message 以外に source_id を追加してます。
以下の例では source_id` に tag_suffix[1] を指定しています。

<match slack.**>
  type record_reformer
  tag reformed.${tag}
  <record>
    source_id ${tag_suffix[1]}
  </record>
</match>

tag_suffix について

tag が reformed.slack.error.nginx.error とすると
以下のような仕様です。

tag_suffix[0] → reformed.slack.error.nginx.error
tag_suffix[1] → slack.error.nginx.error
tag_suffix[2] → error.nginx.error

tag_suffix[-1] → error
tag_suffix[-2] → nginx.error

slack通知

incoming WebhookからWebhookURLを設定

<match reformed.slack.**>
  type slack
  webhook_url https://hooks.slack.com/services/xxxxxxxxx/xxxxxxxxx/xxxxxxxxxxxxxxxxxxxxxxxx
  channel flag_production
  username fluentd
  title_keys source_id
  title %s
  color danger
  flush_interval 5s
</match>

通知結果

余談

Slackに通知しても休日で業務連絡を見ないということは往々にしてあるので
Twillioで電話通知するpluginもあります。

y-ken/fluent-plugin-twilio

株式会社KDDIウェブコミュニケーションズが提供する有料サービスです。
比較的安価なので導入検討してみてください。

Twillio 料金表

twilio price

かつての「メール見てませんでした💦」
なんてことがなくなりそうなのは良いですね

以上です。

2015-09-19Updated 2020-05-07

3分で出来る！ AWS EC2(CentOS7)に td-agent2インストール

環境

AWS EC2
CentOS Linux release 7.1.1503 (Core)

td-agent2 インストール

1	$ sudo curl -L http://toolbelt.treasuredata.com/sh/install-redhat-td-agent2.sh \| sh

起動/サービス登録

1 2	$ sudo systemctl start td-agent $ sudo chkconfig td-agent on

systemctl enableするとchkconfig使ってと怒られます。

$ sudo systemctl enable td-agent

td-agent.service is not a native service, redirecting to /sbin/chkconfig.
Executing /sbin/chkconfig td-agent on
The unit files have no [Install] section. They are not meant to be enabled
using systemctl.
Possible reasons for having this kind of units are:
1) A unit may be statically enabled by being symlinked from another unit's
   .wants/ or .requires/ directory.
2) A unit's purpose may be to act as a helper for some other unit which has
   a requirement dependency on it.
3) A unit may be started when needed via activation (socket, path, timer,
   D-Bus, udev, scripted systemctl call, ...).
[root@ip-172-31-19-253 log]#

試験

設定ファイル (/etc/td-agent/td-agent.conf)を見ると
デフォルト設定では、
httpプロトコルでport:8888からLoggingしtd-agent.log(/var/log/td-agent/td-agent.log)に流すようにしています。

# HTTP input
# POST http://localhost:8888/<tag>?json=<json>
# POST http://localhost:8888/td.myapp.login?json={"user"%3A"me"}
# @see http://docs.fluentd.org/articles/in_http
<source>
  type http
  port 8888
</source>

## live debugging agent
<source>
  type debug_agent
  bind 127.0.0.1
  port 24230
</source>

以下のようにコマンドを実行してtd-agent.logを確認してみる。

$ curl -X POST -d 'json={"json":"TEST!!"}' http://localhost:8888/debug.test

$ sudo tail -f /var/log/td-agent/td-agent.log

2015-09-19 17:34:50 +0900 debug.test: {"json":"TEST!!"}

上記のように正しくロギングされていることが確認できました。

2015-09-14Updated 2020-05-07

Nginx ssl.conf設定特定ページのみhttpsへリダイレクトさせる設定

概要

Go RevelフレームをNginx上で利用しています。

その際に設定したssl設定、及び、
特定ページのみhttpsへリダイレクトする様な
設定をする必要があったので以下まとめました。

https通信したいのページは以下です。

/register
/mypage
/login
/logout

https通信したいページをlocationの正規表現(~)でprefixを引っ掛けて
http通信の場合、https通信に301リダイレクトさせてます。

以上

2015-08-30Go

Go Revelフレームワーク jQuery非同期処理

概要

Go RevelフレームワークでAjax非同期処理を実装します。

CSRF 対策

以下コマンドにより
RevelフレームワークでCSFR対策する為のライブラリをインストール

1	$ go get github.com/cbonello/revel-csrf

app/init.go

ajax実行時にCSRFチェックする為、init.goでのチェックを外すように設定

init.go

GitHub Gist: instantly share code, notes, and snippets.

以下CSRFのFilter設定

func init()
    revel.Filters = []revel.Filter{
        ...
        ...
        csrf.CSRFFilter,               // CSRF prevention.
        ...

conf/routes で実行するAPIのURLはAjax実行時にCSRFチェックする為、
init.goではチェックを対象外とする様に設定

1	csrf.ExemptedFullPath("/api_execute")

View側の設定

views/header.html

<head>〜</head> 内にCSRFチェック用ハッシュ値をmeta情報として埋め込みます。

1	<meta name="csrf-token" content="{{ .csrf_token }}">

jQueryファイル

function setAjaxToken( token ) {
    // ajax --- start --------------------------------------------------
    $.ajaxSetup({
    	crossDomain: false,
    	beforeSend: function(xhr, settings) {
            if (!csrfSafeMethod(settings.type)) {
                xhr.setRequestHeader("X-CSRFToken", token );
            }
        }
    });
}

$(document).ready(function () {
    $(document).on("click", ".ajax_execute", function (event) {
	event.preventDefault();

    	setAjaxToken( postData['_token'] );

        var ajaxParamas = {};
    	ajaxParamas["type"]		= "POST";
    	ajaxParamas["url"]		= action;
    	ajaxParamas["data"]		= postData;
    	ajaxParamas["cache"]	= false;
    	ajaxParamas["dataType"]	= "json";

        $.ajax(ajaxParamas)
        .success( function(res) {
            console.log("(^-^) OK")
        }).error ( function() {
            console.log("(>_<) NG")
        });
        return false;
})

簡単…とは行ってない気がしますが
CSRF対策ができました。

2015-08-21Updated 2020-05-07

fluentd設定ハマった所あるある

以下随時追加。

環境

CentOS Linux release 7.1.1503 (Core)
Fluentd 0.12.12
Nginx 1.8.0

Permission denined

パーミッションエラー！

# tail -f /var/log/td-agent/td-agent.log

2015-08-19 14:17:14 +0900 [error]: Permission denied @ xxxxxxx - /var/log/nginx/error.log
  2015-08-19 14:17:14 +0900 [error]: suppressed same stacktrace

対策

td-agent実行ユーザをrootに変更する。

$ sudo vim /etc/init.d/td-agent

- TD_AGENT_USER=td-agent
- TD_AGENT_GROUP=td-agent

+ TD_AGENT_USER=root
+ TD_AGENT_GROUP=root

デーモンリロード

1	sudo systemctl daemon-reload

動作確認

以下のようにtailが正しく実行できていることが確認できます。

# tail -f /var/log/td-agent/td-agent.log

2015-08-19 14:17:15 +0900 [info]: following tail of /var/log/nginx/access.log
2015-08-19 14:17:15 +0900 [info]: following tail of /var/log/nginx/error.log

[warn]: pattern not match

これかなりハマりました。

Nginxのlogを流すときに以下のようにfomatするように書かれている記事を多く見たので
設定してみたらエラー発生(; >_<)

/etc/td-agent/td-agent.conf

<source>
  type tail
  format nginx
  path /var/log/nginx/access.log
  pos_file /var/log/td-agent/nginx-access.pos
  tag nginx.access
</source>

対策

以下のように修正

/etc/td-agent/td-agent.conf

<source>
  type tail
  format /^(?<remote>[^ ]*) (?<host>[^ ]*) (?<user>[^ ]*) \[(?<time>[^\]]*)\] "(?<method>\S+)(?: +(?<path>[^ ]*) +\S*)?" (?<code>[^ ]*) (?<size>[^ ]*)(?: "(?<referer>[^\"]*)" "(?<agent>[^\"]*)" "(?<forwarder>[^\"]*)")?/
  time_format %d/%b/%Y:%H:%M:%S %z
  path /var/log/nginx/access.log
  pos_file /var/log/td-agent/nginx-access.pos
  tag nginx.access
</source>

td-agent再起動

1	$ sudo systemctl restart td-agent

これで大丈夫。

buffer_path 重複

1	[error]: failed to configure sub output redshift: Other '' plugin already use same buffer_path: type = , buffer_path = *

元々の設定は以下の様にしていました。
td-agent の送信先にトラブルがあり buffer が溜まり重複しエラーとなっていました。

1	buffer_path /logs/td-agent/nginx/logs

例）以下の様な tag があった場合、buffer_path は同じく /logs/td-agent/nginx/logs となってしまう

hogehoge.20170101.log
hogehoge.20170102.log

対策

tag_parts を用い、以下の様に tag 毎に buffer_path をユニークにすることで解決

1	buffer_path /logs/td-agent/nginx/logs_${tag_parts[0]}_${tag_parts[1]}

引き続き何か発生したら追記していきます。

2015-08-20Go

Go初心者におすすめ本

概要

身の回りであまり Go を積極的にやっている人がいないので
やってみたいなぁ、気になってはいる、
という方に本をおすすめしてみたいと思いました。

この一冊！

以下をチョイスしました！

よかった点

全部で 34 ページ！1 日で読み終わり、逆引きとしても利用できる。(Go のオフィシャルのチュートリアルをまとめてくれてる感じ)
Go の成り立ちを簡潔に説明しており、クロスコンパイルや並列処理サポートなどがあり Go の使いどころがわかる。
ちょうど「Web API デザインの鉄則」という特集があり、API 開発にはちょうど良い内容の一冊だった。

特に本を紹介して自分にお金が入ることはないので
斜めから見ずにまず本見てみてください ♪

Go を使いたくなる記事

JSON シリアライズし秒間のレスポンス回数測定

以下 Qiita 記事でまとめてくれていました。

「最速」フルスタック Web フレームワーク「revel」の紹介

個人的に好きな所

while や do/while 、参考演算子がなく for のみ、とか冗長なコーディングを許さない
gofmt でフォーマット化してくれる。いつもコミット前にやってます。
ライブラリ増えてる。 Python のpip installみたく go getでインストール可。
ネイティブなのでアプリケーションが大きくなってもさほど遅くならない。

以上
Gopher とお話できる機会が増えると何よりです。

2015-08-20Updated 2020-05-07

Kibana4 インストール on CentOS7

前提

Nginx インストール済み

環境

CentOS Linux release 7.0.1406 (Core)
Nginx 1.9.3
Kibana 4.1.1

Kibana インストール

1
2
3

$ cd /usr/local/src
$ sudo wget https://download.elastic.co/kibana/kibana/kibana-4.1.1-linux-x64.tar.gz
$ sudo tar xvzf kibana-4.1.1-linux-x64.tar.gz

Kibana 設定ファイル修正

1	$ vi /usr/local/src/kibana-4.1.1-linux-x64/config/kibana.yml

host指定

デフォルトでは 0.0.0.0 となっています。
今回は同サーバに構築するので localhost とし保存します。

1 2	- host: "0.0.0.0" + host: "localhost"

上記の設定により、kibanaがlocalhostにアクセスできるようになります。

Kibana 実行パス作成

1 2	$ sudo mkdir -p /opt/kibana $ sudo cp -R /usr/local/src/kibana-4.1.1-linux-x64/* /opt/kibana/

上記設定により以下コマンドでkibana実行可能になります。

1	/opt/kibana/bin/kibana

上記でも十分ですが、再起動した際にはkibanaは停止してしまいます。
なので、起動スクリプトを作成し、サービス登録します。

起動スクリプト作成

1	$ sudo vi /etc/systemd/system/kibana4.service

kibana4.service

[Service]
ExecStart=/opt/kibana/bin/kibana
Restart=always
StandardOutput=syslog
StandardError=syslog
SyslogIdentifier=kibana4
User=root
Group=root
Environment=NODE_ENV=production

[Install]
WantedBy=multi-user.target

上記保存します。

起動/サービス登録

1 2	$ sudo systemctl start kibana4 $ sudo systemctl enable kibana4

Nginx インストール

以下参考にしてください。

CentOS7 に Nginx インストール - 長生村本郷Engineers'Blog

Kibana構築用に書いときました。環境 CentOS7 Nginxインストール Nginx用リポジトリ作成 # vim /etc/yum.repos.d/nginx.repo 以下追記 [nginx] name=nginx repo baseurl=http://nginx.…

Nginx設定ファイル修正

リーバスプロキシでKibana4用ポート(5601)へ向ける。

1	$ sudo vi /etc/nginx/conf.d/default.conf

server {
    listen       80;
    server_name  ec2-xx-xx-xxx-xxx.ap-northeast-1.compute.amazonaws.com;

    auth_basic "Restricted Access";
    auth_basic_user_file /etc/nginx/htpasswd.users;

    location / {
        proxy_pass http://localhost:5601;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection 'upgrade';
        proxy_set_header Host $host;
        proxy_cache_bypass $http_upgrade;
    }

}

以上設定保存後、Nginx再起動

1	$ sudo systemctl restart nginx

アクセスして確認

以下のように表示されれば問題ありません。

以上

参考記事

Systemd入門(4) - serviceタイプUnitの設定ファイル

起動スクリプトについて各項目説明

[Unit] について

オプション	説明
Description	Unitの説明文
Documentation	ドキュメントのURI
Requires	このUnitが必要とする前提Unit
Wants	このUnitが必要とする前提Unit
After	このUnitより先に起動するべきUnit
Before	このUnitより後に起動するべきUnit

[Install] について

オプション	説明
WantedBy	enable時にこのUnitの.wantsディレクトリにリンク作成
RequiredBy	enable時にこのUnitの.requiredディレクトリにリンク作成
Also	enable/disable時に同時にenable/disableするUnit
Alias	enable時にこのUnitの別名を用意

↓この本とってもお世話になりました♪

サーバ/インフラエンジニア養成読本ログ収集~可視化編 [現場主導のデータ分析環境を構築!] (Software Design plus) | 鈴木健太, 吉田健太郎, 大谷純, 道井俊介 |本 | 通販 | Amazon

Amazonで鈴木健太, 吉田健太郎, 大谷純, 道井俊介のサーバ/インフラエンジニア養成読本ログ収集~可視化編 [現場主導のデータ分析環境を構築!] (Software Design plus)。アマゾンならポイント還元本が多数。鈴木健太, 吉田健太郎, 大谷純…

2015-08-20Updated 2020-05-07

CentOS7 に Nginx インストール

Kibana構築用に書いときました。

環境

CentOS7

Nginxインストール

Nginx用リポジトリ作成

1	# vim /etc/yum.repos.d/nginx.repo

以下追記

[nginx]
name=nginx repo
baseurl=http://nginx.org/packages/mainline/centos/7/$basearch/
gpgcheck=0
enabled=1

Nginx モジュールインストール

1	$ sudo yum install --enablerepo=nginx nginx

サービス登録

サーバ起動時・再起動時にNginxが起動するようにします。

$ sudo systemctl disable httpd
$ sudo systemctl enable nginx
$ sudo systemctl start nginx
$ systemctl status nginx

nginx.service - nginx - high performance web server
   Loaded: loaded (/usr/lib/systemd/system/nginx.service; enabled)
   Active: active (running) since Mon 2015-08-03 06:07:44 UTC; 2s ago
     Docs: http://nginx.org/en/docs/
  Process: 12642 ExecStart=/usr/sbin/nginx -c /etc/nginx/nginx.conf (code=exited, status=0/SUCCESS)
  Process: 12641 ExecStartPre=/usr/sbin/nginx -t -c /etc/nginx/nginx.conf (code=exited, status=0/SUCCESS)
 Main PID: 12645 (nginx)
   CGroup: /system.slice/nginx.service
           ├─12645 nginx: master process /usr/sbin/nginx -c /etc/nginx/nginx....
           └─12646 nginx: worker process

Aug 03 06:07:44 ip-172-31-19-253 systemd[1]: Starting nginx - high performan....
Aug 03 06:07:44 ip-172-31-19-253 nginx[12641]: nginx: the configuration file...k
Aug 03 06:07:44 ip-172-31-19-253 nginx[12641]: nginx: configuration file /et...l
Aug 03 06:07:44 ip-172-31-19-253 systemd[1]: Failed to read PID from file /r...t
Aug 03 06:07:44 ip-172-31-19-253 systemd[1]: Started nginx - high performanc....
Hint: Some lines were ellipsized, use -l to show in full.

アクセス確認

http://<IPアドレス or ドメイン>

以下のように表示されればOK

以上です。

2015-08-19Go

go get で「exec: "bzr": executable file not found in $PATH」エラー対策

結論

bzrモジュールインストールした後、再度go getして問題なく動作しました。

1	# yum install -y bzr

概要

EC2のCentOS7で
以下のように go get した際にbzrが見当たらないというエラーが発生した。

$ go get launchpad.net/goamz/aws

[centos@ip-xxx-xx-xx-xx src]$ go get launchpad.net/goamz/aws
go: missing Bazaar command. See http://golang.org/s/gogetcmd
package launchpad.net/goamz/aws: exec: "bzr": executable file not found in $PATH

ちょこっとしたつまづきでした。

ちなみに

bzrはgitと同様、分散バージョン管理システムです。

今回インストールしようとしたPackageがBazaarで管理していたから必要になったのでしょう。

以下参照
Bazaarユーザーリファレンス

2015-08-19Go

Golang Revelフレームワークエラー「server.go:1775: http: TLS handshake error from 127.0.0.1:36799: tls: first record does not look like a TLS handshake」対応

結論

[prod]モード以外で http.ssl = true とし起動すると発生するエラーでした。
その為、[prod]以外では http.ssl = false として起動することとしました。

概要

テスト環境で app.conf にて[test]モードを追加し
そこでオレオレ SSL 証明書作成して https リンクの動作確認をしようとしてました。

ですが、起動こそするものの一向にアクセスできず汗

dev モードではアクセス出来るのでその差分を見たところ、上記の結論に至りました。

エラー内容

revel 起動し url にアクセスすると以下のような TLS ハンドシェイクができずアクセスできない状況になる。

$ revel run myapp test

...
...

INFO  2015/08/19 14:48:38 harness.go:165: Listening on :9000
2015/08/19 14:48:40 server.go:1775: http: TLS handshake error from 127.0.0.1:36799: tls: first record does not look like a TLS handshake

環境

概要

準備

利用するfluentd Plugin

td-agent.conf設定

error.logフォーマット設定

tag名をリライト

フィールド追加

tag_suffix について

slack通知

通知結果

余談

Twillio 料金表

環境

td-agent2 インストール

起動/サービス登録

試験

概要

https通信したいのページは以下です。

概要

CSRF 対策

View側の設定

jQueryファイル

環境

Permission denined

対策

動作確認

[warn]: pattern not match

対策

buffer_path 重複

対策

概要

この一冊！

よかった点

Go を使いたくなる記事

JSON シリアライズし秒間のレスポンス回数測定

個人的に好きな所

前提

環境

Kibana インストール

Kibana 設定ファイル修正

Kibana 実行パス作成

起動スクリプト作成

起動/サービス登録

Nginx インストール

Nginx設定ファイル修正

アクセスして確認

参考記事

起動スクリプトについて 各項目説明

[Unit] について

[Install] について

環境

Nginxインストール

Nginx モジュールインストール

サービス登録

アクセス確認

結論

概要

ちなみに

結論

概要

エラー内容

起動スクリプトについて各項目説明