概要

以前 Ansible + Vagrant で Prometheus モニタリング環境構築について書きました。

今回は具体的によくある設定ユースケースを順追って設定していきます。

1. Prometheus Server 構築
2. 監視対象で Node Exporter 構築
3. Alertmanager 構築

今回やること 3 行まとめ

• Prometheus Server モジュールインストール
• Prometheus Server 起動スクリプト作成
• Prometheus Server 起動し自身のサーバモニタリング

Prometheus の設定ファイルについては
全体像を理解した後が良いと思いますので
Node Exporter の設定の後に実施したいと思います。

環境

• CentOS Linux release 7.3.1611 (Core)

Prometheus インストール

• パッケージインストール
  最新のバージョンをチェックしダウンロードしてください。

1
2
3
4
5

$ cd /usr/local/src
$ sudo wget https://github.com/prometheus/prometheus/releases/download/v1.4.1/prometheus-1.4.1.linux-amd64.tar.gz
$ sudo tar -C /usr/local -xvf prometheus-1.4.1.linux-amd64.tar.gz
$ cd /usr/local
$ sudo mv prometheus-1.4.1.linux-amd64 prometheus-server

• シンボリックリンク作成

1
2
3
4
5
6
7
8
9
10
11
12
13
14

$ sudo ln -s /usr/local/prometheus-server/prometheus /bin/prometheus
$ sudo ln -s /usr/local/prometheus-server/promtool /bin/promtool

$ prometheus --version
prometheus, version 1.4.1 (branch: master, revision: 2a89e8733f240d3cd57a6520b52c36ac4744ce12)
  build user:       root@e685d23d8809
  build date:       20161128-09:59:22
  go version:       go1.7.3

$ promtool version
promtool, version 1.4.1 (branch: master, revision: 2a89e8733f240d3cd57a6520b52c36ac4744ce12)
  build user:       root@e685d23d8809
  build date:       20161128-09:59:22
  go version:       go1.7.3

Prometheus 起動

とりあえず起動するならこれだけ

1

$ sudo prometheus -config.file=/usr/local/prometheus-server/prometheus.yml

ただ ↑ これを毎回実行するのは辛いので起動スクリプトを作成して
サーバ再起動時に自動起動したり
systemctl start ... と実行したい。

起動スクリプト作成

• Prometheus オプションファイル作成

1
2
3

$ cat << 'EOF' > /usr/local/prometheus-server/option
OPTIONS="-config.file=/usr/local/prometheus-server/prometheus.yml -web.console.libraries=/usr/local/prometheus-server/console_libraries -web.console.templates=/usr/local/prometheus-server/consoles"
EOF

• Prometheus 起動スクリプト

1
2
3
4
5
6
7
8
9
10
11
12
13
14

$ sudo cat << 'EOF' | sudo tee /usr/lib/systemd/system/prometheus.service
[Unit]
Description=Prometheus Service
After=syslog.target prometheus.service

[Service]
Type=simple
EnvironmentFile=-/usr/local/prometheus-server/option
ExecStart=/bin/prometheus $OPTIONS
PrivateTmp=false

[Install]
WantedBy=multi-user.target
EOF

• 起動設定

1
2
3
4

$ sudo systemctl daemon-reload
$ sudo systemctl enable prometheus.service
$ sudo systemctl start prometheus.service
$ sudo systemctl status prometheus.service -l

アクセスしてみる

<IP Address>:9090 にアクセスします。
以下のように表示されていれば Prometheus 起動成功です。

オプション設定でも設定した、 /usr/local/prometheus-server/consoles の各 html にもアクセスしてみてください。

<IP Address>:9090/consoles/prometheus-overview.html?instance=localhost%3a9090

次回は 監視対象で Node Exporter 構築 します。

概要

リモートサーバとローカルサーバとの差分のあるファイル情報を取得するツールを Golang で作成しました。

GitHub - kenzo0107/diffrelo: diffrelo is a tool to find the file differences between the remote server and the local workspace.

diffrelo is a tool to find the file differences between the remote server and the local workspace. - kenzo0107/diffrelo

どんなツールか 3 行まとめ

1. ローカルワークスペースを元にリモートサーバからディレクトリと拡張子指定し実行ディレクトリ上にファイルをダウンロード
2. ローカルのワークスペースから実行ディレクトリ上にファイルをコピー
3. 1,2 で取得したファイルから差分をチェック

利用想定ケース

• リモートファイルサーバとローカルワークスペースの同期状況が不明瞭である場合

この 1 点のみです。
整備されたデプロイ環境では発生しにくいケースです。

ですが意外と多いです。

それはこんなケース

• 担当者が退職して引き継がれていない (>_<)
• ちょっとしたツールだし Git 管理してなかった (>_<)
• 別の業者さんがサーバにアクセスでき、勝手に編集することがある (>_<)

上記のケースに当たる案件にたまたま担当してしまって
デグレった、バグったとならない為に個人的に作ってました。

補足

デフォルトの対象拡張子は php,tpl,js,css,html を対象としています。
会社で PHP プロジェクトを扱うことが多いので m(_ _)m

あとがき

元々 Python で書いてましたが Go にしたところ
4~5 倍程度パフォーマンスアップしました！

並行処理についても
Python も multiprocessing がありますが
書き易さは Go かなと思いました。

ちなみに

実装に当たってこちら拝読させていただきました。
基礎的な Go 言語の構文や環境構築、
Semaphore を意識した設計はとても参考になりました。

とある午後、Jenkins を再起動したときに出たエラー

1
2
3
4
5
6
7
8
9
10

hudson.util.HudsonFailedToLoad: org.jvnet.hudson.reactor.ReactorException: java.io.IOException: Unable to read /var/lib/jenkins/config.xml
	at hudson.WebAppMain$3.run(WebAppMain.java:234)
Caused by: org.jvnet.hudson.reactor.ReactorException: java.io.IOException: Unable to read /var/lib/jenkins/config.xml
	at org.jvnet.hudson.reactor.Reactor.execute(Reactor.java:269)
	at jenkins.InitReactorRunner.run(InitReactorRunner.java:44)
	at jenkins.model.Jenkins.executeReactor(Jenkins.java:912)
	at jenkins.model.Jenkins.<init>(Jenkins.java:811)
	at hudson.model.Hudson.<init>(Hudson.java:82)
	at hudson.model.Hudson.<init>(Hudson.java:78)
	at hudson.WebAppMain$3.run(WebAppMain.java:222)

/var/lib/jenkins/config.xml が読み込めない というエラー

/var/lib/jenkins/config.xml の所有者は jenkins:jenkins だけど、なぜ？

と権限周りを諸々試験して直していくと
plugins をディレクトリごと所有者変更すると直りました汗

1

$ sudo chown -R jenkins:jenkins /var/lib/jenkins/plugins

plugin の挙動で何か所有者変更され得るものがあったのか解明せず。

同様の事象の記事を見つけたので参照

概要

サイト作りにありがちな設定忘れ
「会員登録完了メールが迷惑メールに入っちゃいます」

SPF レコード設定と DNS の逆引き設定が必要です。

まず DNS 正引きとは

ドメイン — 問合せ —> IP アドレス

以下のようなメールアドレスがあるとします。

info@hogehoge.jp

この hogehoge.jp から IP アドレス を問い合わせるのが 正引き

DNS 逆引きとは

IP アドレス — 問合せ —> ドメイン

IP アドレス から hogehoge.jp を問い合わせるのが 逆引き

SPF レコード

SPF = Sender Policy Framework

メールを送る側のポリシーを設定したフレームワークです。

何故こんなフレームワークがあるの？

送信元偽装なんて簡単にできるから！

1

$ echo "TEST" | sendmail -f aiueo@xxxx.jp -t kenzo.xxxxxx.0107@gmail.com

SPF レコードを設定することの意味

SPF レコード設定する、ということは
送信元の IP アドレス, ドメイン を指定することで
受信先が 送信元メールアドレスと SPF レコード情報に設定している IP, ドメイン情報と一致しているか
わかるようになります。

逆引き設定することの意味

送信元の IP アドレスから割り出したドメインと
逆引き設定された IP に紐づくドメインとを照合し
異なる場合は偽装と判断することができる為です。

Gmail などではこのフィルターが設定されていて
逆引き設定されていないと迷惑メール BOX に入っちゃいます。

SPF レコード設定確認

1

$ dig -t TXT <メールドメイン>

• 例) gmail.com

1
2
3

$ dig -t TXT gmail.com

gmail.com.              300     IN      TXT     "v=spf1 redirect=_spf.google.com"

• 例) yahoo.co.jp

1
2
3

$ dig -t TXT yahoo.co.jp

yahoo.co.jp.            6       IN      TXT     "v=spf1 include:spf.yahoo.co.jp ~all"

Gmail で SPF レコード設定確認

• SPF: NEUTRAL の場合、SPF レコードが正しく設定されていません。

• SPF: PASS の場合、SPF レコードが正しく設定されています。

以上です。

概要

これまで数社経験してきましたが
必ずといっていいほど存在する、
現状のステータスがわからないサーバ。。

Git 上の master とも差分が激しく生じている状態。。

そんなサーバとローカルの workspace との差分を確認すべく
ツールを作成しました。

kenzo0107/DiffTool

ローカルとリモートサーバ上のファイル差分確認をします。. Contribute to kenzo0107/DiffTool development by creating an account on GitHub.

今後

今の所、
リモートからファイルをダウンロードする度に SSH のコネクションを張ってしまいパフォーマンス悪い(>_<)

はじめ pysftp で ssh コネクション張ってた方がパフォーマンスよかった気がする。
でも、手軽さを考えたら hostname 指定の方が良かったので
hostname 指定の方向でパフォーマンスを上げていくことを考えます。

ところが
pysftp で実装してみましたが 多段 ssh アクセスの場合がうまくいかず。。
随時解消させていきます。

golang で並行処理を試してパフォーマンスを上げるのも検討します。

概要

CentOS 5 に vim をソースからビルドしようとした所
.configure 実行時にエラー発生

1
2
3
4

no terminal library found
checking for tgetent()... configure: error: NOT FOUND!
      You need to install a terminal library; for example ncurses.
      Or specify the name of the library with --with-tlib.

terminal library がないと怒られている。

ちなみにこんな流れで vim をソースからダウンロードしビルドしようとしました。

1
2
3
4
5
6

$ wget ftp://ftp.vim.org/pub/vim/unix/vim-7.4.tar.bz2
$ tar xvf vim-7.4.tar.bz2
$ cd vim74
$ ./configure --enable-multibyte --with-features=huge --disable-selinux --prefix='/usr/local/vim-7.4'
$ sudo make install
$ sudo ln -s /usr/local/vim-7.4/bin/vim /usr/bin/vim

• ncurses-devel インストールし再度実行

1

$ sudo yum install -y ncurses-devel

通りました (;_)

yum でインストールする vim だと Neobundle が利用不可バージョンだった為
ソースからビルドする選択にしました。

程よい rpm があれば教えてください！

概要

CentOS5 系で yum でインストールした zsh で以下エラー発生

1

precmd: vcs_info: function definition file not found

Version 4.3.6 以上でないと vcs_info は利用できないそう

1

vcs_info is available since zsh-beta, version 4.3.6-dev-0+20080929-1 or later

• バージョン確認

1
2
3

$ /bin/zsh --version

zsh 4.2.6 (x86_64-redhat-linux-gnu)

なので zsh バージョンアップデートする必要があります。

zsh 5.2 ダウンロード ビルド

1
2
3
4
5

$ cd /usr/local/src
$ wget https://sourceforge.net/projects/zsh/files/zsh/5.2/zsh-5.2.tar.gz/download
$ tar xvjf zsh-5.2.tar.gz
$ cd zsh-5.2
$ ./configure && make && sudo make install

インストールされた zsh バージョン確認

1
2
3

$ /usr/local/bin/zsh --version

zsh 5.2 (x86_64-unknown-linux-gnu)

新たにダウンロードした zsh にシェル変更

1
2

$ echo "/usr/local/bin/zsh" | sudo tee -a /etc/shells
$ chsh -s /usr/local/bin/zsh

それでも、まだ出てくるこのエラー。。

1

precmd: vcs_info: function definition file not found

.zcompdump を削除し zsh を実行し直す

1
2

$ rm ~/.zcompdump
$ exec zsh

.zscompdump はコマンドやその補間関数の定義一覧が記載されているファイルです。

無事エラーが消えました。

概要

簡易的なパフォーマンス測定覚書です。
よく使うので備忘録的に保存。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34

package main

import (
	"fmt"
	"runtime"
	"time"
)

func main() {
	// CPU数
	cpus := runtime.NumCPU()

	// 開始時メモリ
	var startMemory runtime.MemStats
	runtime.ReadMemStats(&startMemory)

	// 開始時間
	start := time.Now()


	// do something


	// 経過時間
	elapsed := time.Since(start)

	// 終了時メモリ
	var endMemory runtime.MemStats
	runtime.ReadMemStats(&endMemory)

	fmt.Printf("実行時間: %f 秒 \n", elapsed.Seconds())
	fmt.Printf("CPU: %d \n", cpus)
	fmt.Printf("Memory All: %f MB \n", float64(endMemory.Alloc-startMemory.Alloc)/float64(1024*1024))
}

概要

Let’s encrypt SSL は開発環境で本番環境と同等に
https 通信プロトコルを利用したい為に利用しています。

バーチャルホストで複数ドメインを利用している場合等でも
マルチドメイン SSL 証明書が取得でき便利です。

オレオレ SSL 証明書ではブラウザによっては
「このページは保護されていません」
と表示されるケースがあり
非エンジニアの方によっては不信感が募ることもあります。

β 版

β 版時代の Let’s Encrypt SSL 証明書管理スクリプトです。
今回作成した SSL 自動更新スクリプトはこちらではありません。

GitHub - digint/letsencrypt.sh: letsencrypt/acme client implemented as a shell-script

letsencrypt/acme client implemented as a shell-script - digint/letsencrypt.sh

SSL 自動更新スクリプト

今回作成した Let’s Encrypt 自動更新(Apache)スクリプトです。
更新判定し Slack 通知します。

有効期限が 30 日を切った場合に SSL 証明書を更新し httpd を再起動します。

cron 設定

• 毎月第一土曜日 AM6:00 設定

開発環境なら土曜日に実行気づいて最低でも日曜日には治せる為。
現運用ではこれは功を奏してます。

1

00 6 1-7 * * 6 root /root/letsencrypt.sh/refresh_cert.sh

Slack 通知

強制更新したい場合

2016 年 5 月 07 日より certbot-auto に名称変更され
certbot-auto による自動更新を以下スクリプトになります。

本番環境以外でクライアント様への確認用等でなければ
こちらを利用しても良いかと思います。

--force-renewal をオプション指定することで強制的に更新します。

そもそも通知いらないという場合

こちらも certbot-auto

• cron で直接コマンド設定
• 毎月第一土曜日実行
• 一応ログには残しておく

1

00 6 1-7 * * 6 root /root/certbot/certbot-auto renew --force-renewal && service httpd graceful > /root/certbot/renewal.log

以上です。

概要

ECサイトに新しい決済機能の利用率出したいな
と思ったときのクエリです。

ちょうどいくつかの集計関数がまとまった1クエリとなったので
まとめました。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

SELECT
     DATE_FORMAT(create_date, '%Y-%m-%d') AS 日付
    ,COUNT(order_id)                      AS 全件数
    ,FORMAT(SUM(payment_total),0)         AS "全支払い合計(円)"
    ,COUNT(payment_id = 12 or NULL)       AS "新決済機能の購入件数"
    ,COUNT(customer_id = 0 or NULL)       AS "ゲスト購入数"
    ,FORMAT(SUM(CASE WHEN payment_id = 12 THEN payment_total else 0 END),0) AS "新決済機能の購入支払い合計(円)"
    ,count(payment_id = 12 or NULL)/count(order_id) * 100 AS "新決済機能の購入比率(%)"
    ,SUM(CASE WHEN payment_id = 12 THEN payment_total else 0 END)/SUM(payment_total) * 100 AS "新決済機能の購入支払い合計比率(%)"
    ,COUNT(customer_id = 0 or NULL)/COUNT(order_id) * 100 AS "ゲスト購入比率"
FROM
     dtb_order
WHERE 1=1
     AND site_id = 1
     AND create_date > '2016-09-21 10:00:00'
GROUP BY
     DATE_FORMAT(create_date, '%Y%m%d')
    ;

• パッケージ = EC-CUBE 2.11.5
• 新決済ID = 12

結果

CASE文をさらっと書けるようになると少し大人になった気分になります。
心残りは比率部分の重複部分がまとまったらかっこいいかなと。

精進します。