備忘録です。
忘れない為の自分への一筆。
1 | $ brew update |
1 | $ php -v |
1 | $ curl -O http://pear.php.net/go-pear.phar |
1 | $ sudo php -d detect_unicode=0 go-pear.phar |
1 | $ which pecl |
1 | $ which pear |
以上です。
前回手元の Mac からコンテナクラスタ → Deployment → LB 作成する手順をまとめました。
但し、8080 ポートがフルオープンとなってしまい、誰でもアクセスが可能であるという、
セキュリティ的に非常によろしくない状態でした。
その為、今回は以下実施します。
前回の独自ネットワーク設定していないクラスタは削除して問題ないです。お任せします m(_ _)m
1 | git clone https://github.com/kenzo0107/hubot-slack-on-docker |
hubot-network というネットワークを作成します。1 | macOS%$ gcloud compute networks create hubot-network |
1 | macOS%$ gcloud compute firewall-rules create hubot-rule --network hubot-network --allow tcp:8080 --source-ranges xxx.xxx.xxx.xxx,yyy.yyy.yyy.yyy.yyy |
1 | macOS%$ gcloud container clusters create hubot-cluster-free \ |
例) –cluster-ipv4-cidr=10.0.0.0/8 指定した場合のエラー
1 | ERROR: (gcloud.container.clusters.create) ResponseError: code=400, message=cluster.cluster_ipv4_cidr CIDR block size must be no bigger than /9 and no smaller than /19, found /8. |
1 | macOS%$ gcloud container clusters resize hubot-cluster-free --size=1 |
1 | macOS%$ kubectl create -f gke-deployment.yml |
app: hubot を条件指定1 | macOS%$ kubectl get deployments,replicasets,pods --selector app=hubot |
1 | macOS%$ kubectl get deployment deployment-hubot -o yaml |
1 | macOS%$ kubectl create -f gke-lb.yml |
1 | macOS%$ kubectl get svc |
※EXTERNAL-IP : zz.zzz.zzz.zzz はグローバル IP
1 | macOS%$ curl \ |
ReplicationController を利用することで無停止で更新します。
実際に以下の様にして更新しているのが確認できます。
1 | // ローカルで更新した Docker Container を コミット |
1 | macOS%$ kubectl delete -f gke-deployment.yml |
1 | macOS%$ kubectl delete -f gke-lb.yml |
ネットワークのファイアウォール設定してコンテナ起動したが動かなかった所、かなり詰まりました (; _)
Stackoverflow にたまたま同様のイシューをあげている方がおり参考にさせて頂きました。
助かった汗
これから Nginx + Rails 等、よくありそうなケースで GKE + Kubernetes を試して運用してみたいと思います。
まとまったらまた追記します！
Unable to launch a GKE (Google Container Engine) cluster with a custom network
Mac OS X 用クイックスタート を参照して SDK をダウンロードします。
1 | macOS%$ uname -m |
1 | macOS%$ gcloud components update kubectl |
以下は作成したプロジェクト、リージョン、ゾーンを設定してます。
今後 gcloud コマンド実行時に region 指定等しなくて良くなります。
hubot-1670071 | macOS%$ gcloud auth login |
Google Cloud Platform の無料階層 参照してください。
1 | macOS%$ gcloud container clusters create hubot-cluster-free \ |
1 | macOS% $ kubectl get nodes |
1 | macOS%$ gcloud container clusters resize hubot-cluster-free --size=1 |
リサイズできるなら初めから 1 ノードで作らせて欲しい (>_<)
コンソール上だとやっぱりダメ (T_T)
1 | macOS%$ gcloud container clusters get-credentials hubot-cluster-free |
1 | macOS%$ gcloud container clusters describe hubot-cluster-free |
[https://github.com/kenzo0107/hubot-slack-on-docker:embed:cite]
1 | macOS%$ git clone https://github.com/kenzo0107/hubot-slack-on-docker |
1 | macOS%$ docker ps |
Slack 上に Hubot が登場していて hello と呼びかけると Hi と返してくれたら成功です。
1 | macOS%$ docker commit 12f77feb09b4 gcr.io/hubot-167007/hubot:latest |
参考: Container Registry への push
1 | macOS%$ gcloud docker -- push gcr.io/hubot-167007/hubot:latest |
1 | macOS%$ kubectl run pod-hubot \ |
1 | macOS%$ kubectl get deployments |
1 | macOS%$ kubectl get pods |
1 | $ kubectl exec -it pod-hubot-1713414922-b2dkq /bin/bash |
1 | macOS%$ kubectl get service |
EXTERNAL-IP: <none> … 外部へ開いている IP がない。という状態
Private IP は付与されたが Public IP がない、外部のネットワークからアクセスできない状態です。
※ ロードバランサを追加すると課金の桁が跳ね上がります。。
（2000 円/月くらい。念の為、設定した予算アラートでわかりました。）
1 | macOS%$ kubectl expose deployment pod-hubot --type="LoadBalancer" |
EXTERNAL-IP: <pending> となっており、作成途中であることがわかります。
1 | macOS%$ kubectl get service |
無事付与されているのがわかりました。
1 | macOS%$ kubectl get service |
1 | macOS%$ curl \ |
掃除しときたい場合に以下実行してください。
1 | macOS%$ kubectl delete service pod-hubot |
1 | macOS%$ kubectl delete pod pod-hubot-729436916-htw3r |
1 | macOS%$ kubectl delete deployments pod-hubot |
1 | macOS%$ gcloud container clusters delete hubot-cluster-free |
以上です。
GKE は概念が多く、一概に deployment, pod, service, kubernetes 等覚えることが多いですが
動かしつつ学ぶのは楽しいです。
ほぼ手元の Mac で設定できました！
手元で済むから macOS%$ は不要だった。。
今回作成した service だと外部に 8080 ポート全開です。
次回はアクセス元を制限したポートアクセスやコンテナのアップデートについてまとめます。
[http://kenzo0107.hatenablog.com/entry/2017/05/16/222815:embed:cite]
Raspi3 に docker-compose で Prometheus による監視機構を作成しました。
1 | raspi%$ wget -qO- https://get.docker.com/ | sh |
1 | raspi%$ sudo apt-get update |
1 | raspi%$ docker-compose --version |
1 | raspi%$ cd ~ |
1 | .htpasswd 作成時のユーザ/パス == GF_SECURITY_ADMIN_USER/GF_SECURITY_ADMIN_PASSWORD |
である必要があります。
Grafana の認証機能により設定した Basic 認証でログインできる仕組みがあり、
一致しない場合、ログインできず、失敗します。
1 | GF_SECURITY_ADMIN_USER=admin-user |
1 | raspi%$ htpasswd -c nginx/conf/conf.d/.htpasswd admin-user |
Raspi の温度や電圧を定期取得し Prometheus に読み込ませるファイル(*.prom)作成します。
1 | */5 * * * * <home/to/path>/vagrant-docker/docker/prometheus-grafana-on-raspi3/node-exporter/collector/raspi.sh |
1 | raspi%$ docker-compose up -d |
http://<your_server_ip>:13000 にアクセスすると .htpasswd で指定したユーザ/パスを求められるので入力します
その後、Grafana のページが表示されれば成功です。
「Add data Source」をクリックします。
以下の様に設定し「Save & Test」をクリックしし Success することを確認します。
左上のアイコンから Dashboards > Import 選択し DockerDashboard.json をインポートします。
nginx/conf/conf.d/default.conf
1 | server { |
以下の点で非常にハマりました。
nginx の proxy 機能で grafana に繋げても 以下の様に表示されてしまうケースにぶつかりまくりました。
1 | {{alert.title}} |
イメージ探しについ時間取ってしまいましたが
自作した方が早かったかもと反省。
今回は自身を監視するという仕組みにしましたが外部から監視し相互に監視し合う体制が必要です。
家庭内稟議が通ればもう一台 get しよう！
そして、家庭の為になるものを作ろう！
本当に小技です。
が、割と使ってみると作業時間の短縮となって便利という声を頂き
peco 関連でよく使うものを記事にしました。
1 | macOS %$ brew install peco |
前提条件として ~/.ssh/config で接続ホストを管理しています。
上記を ~/.bashrc などに貼り付けて source ~/.bashrc すれば使えます ♪
1 | macOS %$ git clone https://gist.github.com/kenzo0107/06b3b1e202f36b70815cfe0207292a66 |
上記の様に順調に進むと候補がリストされます。
モザイクしかなくすいません (>_<)
こちらも同様、
1 | macOS %$ git clone https://gist.github.com/kenzo0107/e460e31ae2478341cc7a39859ad7fefd |
他にも様々な箇所で peco を利用させて頂いてます。
こんな peco の使い所あるよーという方、是非教えてください ♪
zsh ですが dotfile をまとめてます。
前回構築した Vagrant 環境上で docker-compose による開発環境構築をします。
今回は前回の続きで Nginx のアクセスログを Elasticsearch + Fluentd + Kibana で可視化してみます。
アプリ
1 | macOS% $ git clone https://github.com/kenzo0107/vagrant-docker |
Git にまとめています。
1 | ├── docker-compose.yml |
volume 指定しホスト側とシンク。 それを fluentd 側でも volume 指定し tail するようにしました。以下のようなイメージです。
ブラウザから http://192.168.35.101/ にアクセスすると
Nginx の Welcome ページが確認できます。
先程の docker-compose up 後に以下のようなログが見え
fluentd が Nginx アクセスログを捕まえているのがわかります。
ブラウザから http://192.168.35.101:5601 にアクセスすると
Kibana ページが表示されます。
Index name or pattern
Time-field name
Create ボタン押下
レフトメニューから Discover クリック
当然ながら macOS と vagrant とシンクしているので
macOS 上からもログが tail できます。
1 | macOS%$ tail -f <path/to/vagrant-docker>/docker/nginx-efk/_log/nginx/access.log |
以上です。
参考になれば幸いです。
![AWS [Retirement Notification] 対応](https://cdn-ak.f.st-hatena.com/images/fotolife/k/kenzo0107/20170418/20170418105821.png)
とある日、AWS よりこんなメール通知が来ました。
要約すると
ホストしている基盤のハードウェアで回復不可能な障害が検知されたので
指定期限までに対応しないとインスタンスが停止する、とのこと。
今回こちらの対応をまとめました。
1 | Dear Amazon EC2 Customer, |
ボリュームタイプによって異なります。
EBS ボリューム
インスタンスストアボリューム
今回は EBS ボリューム対応について記載してます。
対象インスタンスが多かったのでローカル PC (macOS) から awscli でインスタンス停止 → 起動するシェル作成しました。
本番環境で利用されるインスタンスも含まれていた為、1 件ずつ実行することとしました。
1 | $ brew install awscli jq |
1 | $ aws configure --profile <profile> |
以下のように実行すると
インスタンスが起動(running)していれば
停止後、再び起動し、ステータスチェックをするようにしました。
1 | $ sh stop_and_start_ec2_instance.sh "<profile>" "<instance id>" |
.aws/config で設定されている profile を全てチェックし
未対応インスタンスのみ表示する様修正しました。
大体 1 インスタンス 5 分程度で完了。
問題なく停止起動でき、対象イベントが一覧から消えたことを確認しました ♪
メンテ対象インスタンスの Region が northeast に集中していたのが気になる点でした。
このインスタンス何に使ってるんだっけ？とならない様に、インスタンスや private key の命名ルール必須と感じました。
以上です。
1 | docker --version |
1 | docker ps # running コンテナ一覧 |
1 | docker pull <IMAGE NAME>[:tag] # イメージダウンロード |
1 | docker build -t NAME[:TAG] |
1 | docker-compose up -d # デタッチモードでイメージよりコンテナ起動 |
開発環境構築用に作成した、
Vagrant (Ubuntu) に Docker と Docker Compose をインストールする手順をまとめました。
かなりシンプルにしてます。
1 | # -*- mode: ruby -*- |
vagrant provision で docker compose をインストールすることも可能ですが
vagrant ならではの provision だと他環境で利用できない為、OS 上でインストールする方針です。
1 | MacOS%$ vagrant up |
1 | vagrant%$ lsb_release -a |
1 | vagrant%$ uname -r |
カーネルバージョンが 3.10 より低いとバグを引き起こす危険性があるので NG。
別のカーネルバージョンの高い box を使用しましょう。
1 | vagrant%$ sudo apt-get remove docker docker-engine |
Docker に aufs ストレージを使用許可する為です。
1 | vagrant%$ sudo apt-get update |
1 | // Docker インストール |
1 | vagrant%$ curl -L "https://github.com/docker/compose/releases/download/1.12.0/docker-compose-$(uname -s)-$(uname -m)" > ~/docker-compose |
1 | vagrant%$ exit |
Docker を使用していない時にメモリのオーバーヘッドとパフォーマンス劣化を低減させる様、
GRUB (GRand Unified Bootloader: グラブ or ジーラブ) に設定する必要があります。
1 | vagrant%$ sudo vi /etc/default/grub |
1 | vagrant%$ sudo update-grub |
以上で準備完了です ♪
簡単なチュートリアルとして nginx コンテナを立ててみます。
1 | vagrant%$ docker run --rm -p 80:80 nginx:mainline-alpine |
ローカルの Mac からブラウザでアクセス
※192.168.35.101 … Vagrant で指定した private ip
問題なく Welcome ページが表示されました。
先程のログに以下のようにアクセスログが出力されるのがわかります。
1 | 192.168.35.1 - - [13/Apr/2017:10:45:46 +0000] "GET / HTTP/1.1" 304 0 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36" "-" |
MacOS → Vagrant → Docker
とアクセスできるようになりました ♪
今回作成した Box を Vagrant Cloud に置きました。
https://atlas.hashicorp.com/kenzo0107/boxes/ubuntu14.04.5LTS-docker-dockercompose/
こちら設定を元にこれから様々な環境構築を記載していきたいと思います ♪
前回 Vagrant (Ubuntu)で Docker, Docker Compose 環境構築しました。
上記環境を元に Docker Compose チュートリアルを実行しました。
完全な備忘録です。
1 | vagrant%$ mkdir composetest && cd composetest |
1 | from flask import Flask |
pip でインストールするモジュールを列挙します。
1 | flask |
1 | FROM python:3.4-alpine |
1 | version: '2' |
1 | vagrant%$ docker-compose up |
ブラウザにアクセスしてみる。
表示されました！
リロードする度に以下数字部分がインクリメントされるのが確認できます。
1 | Hello from Docker! I have been seen 1 times. |
便利 ♪