smallpalace's blog

鯖缶主婦の日々の記録です

Ansible night 2018/12 行ってきた

こんにちは。 いってきたのと、ブログ枠ということでメモれたとこだけですみませんがノルマ記事投下失礼いたします。

Ansible Night in Tokyo 2018.12 - connpass

ハッシュタグ#ansiblejp

ーーーー

ansible festのはなし

うちださん

ベストプラクティス系について言及したいと

基調講演

ネットワークベースとか増えた セキュリティ機能強化 コミュニティ紹介など

RoleAndModules シンプルにするというのが。 具体例交えながら

Ciscoの人がつくってたのをRedhatがサポート

ansibleLintも同様

コマンドモジュールつかうくらいなら独自モジュール実装してほしいと

systemctlとかpingとか参考にして実装してね k8sがらみのは参考にしてはだめだと

bash>chef>puppet>ansible 線形に時間かかってたのがスケールできるようになったぜと

MySQLの独自モジュールつくったとかいってた公開されるとかいってた DDLとかstatusとか

https://www.slideshare.net/mobile/SaewoongLee1/database-automation-using-ansible-tool

galaxyの話、2.0か

プロダクトマネージャー(コアの人たち)が話すセッションが多いので ぜひ来年いってみてねと 中村さんにいえばいける

GCPのモジュールをマジックモジュールで自動生成してるらしい(すごい 動画あるのでぜひみてくださいと

https://www.ansible.com/auto-generating-google-cloud-ansible-modules

https://github.com/GoogleCloudPlatform/magic-modules

Moleculeについて 日本で使ってる人いないみたい 使ってみたというブログとか盛り上げていってと

https://molecule.readthedocs.io/en/latest/

規約チェックとユニットテストまわり、結合もやり方によってはできる Lintとかtestを簡単にできるところが特徴的

いままでつかっていたテストツールがMoleculeだけで一律実行できるのがとてもいい

資料はこちら https://speakerdeck.com/nikuyoshi/moleculeru-men

(なんか、chefでいうところのtestKitchenぽいと思いました。)

create.ymlがテストインスタンスやコンテナ生成するプレイブック

verfyでServerspecみたいなものを 選択しがデフォでTestInfraをつかう感じ(2系から URL先をみてねと

initコマンドでroleがMoreculeのテストに適した感じにつくれるっぽい

いい点悪い点 Redhat公式サポート、テストがシンプルに わるいとこ Serverspecつかえないので移行コスト高め testに-vオプションがない?

わからないところはAnsibleのslack部屋でぜひきいてくださいと

参考ドキュメントもみてね

ーーーー

Fest参加感想のパネルディスカッション

心に残った言葉

コミュニティに自作モジュール登録してもらうにはというのでプルリクするとあなたの心を誰かが傷つけるけど負けないで!

コラボレートインテリジェンス

ベンダがいう自動化は無理だという言葉は信用するな

ロールについて得られた回答、 共通ロールは状況によるものだ、何がしたいかによる

世界規模でこれだけの人がかかわっている、という熱を感じた

参加前と参加後の変化

日本もコミュニティが熱あるがそれ以上に感じたので次いってほしい

導入事例がいろいろ聞けたのがよかったところ。事例を聞く機会って日本だとあんまりないので いろんなものを得られたと思う

デリバリー、コスト構造が全然違う(なん分の一というレベル) そういうところに改めて気づいたので見直そうと スモールスタートでやろうとしている推進力になった

業務でどうやってという観点で、イメージがすごくついた 中央集権モデルでというのを参考にしようと思った

様々なベンダがだしててNetworkToCodeという会社があって ネットワーク機器のコマンドのパーサたくさん作ってる会社、 そういうのを知れてよかった

Terraformとかと比較して?という話があったかな?

→いけてないけど連携の話はあった

フォーメーション管理かぶってるけど、どっちがどういいとかあったかな?

→セッションはあったけど参加した人がいないっぽい

ansibleのterraformモジュール

https://docs.ansible.com/ansible/latest/modules/terraform_module.html?highlight=terraform

稟議書とかかいた?

→会社で手をあげて理由書いて投稿したら、海外イベントに行けるやつに当選したのでいけた

Redhatから紹介で上司命令で参加

→うちも上司主導、いちどYamahaのルータのAnsibleに挫折してた経験が効いたと思う

ーーーー

ここからLT 

nnaoさん@cy

https://speakerdeck.com/nnao45/chatops-aws-and-ansible

きのうJapanコンテナデイズがあった

QAアプリつくってクラウドネイティブにしてAnsibleでかんりした

主業務じゃないやつ、コンテンツデリバリも自動化する

開発するときに上げるとか 上げる人が上げる、 AWS中心、後ろにk8sいて、、 ミドルがなんかいまどき。

基本Ansibleでやったけど注目ポイントは コンテナがからんでheptioArkくんが何度も立ち上げるのをなんとかすること

S3においといたやつをレストアする、 直前の開発状況もバックあぷされる、 上げてないときは全部無料にできる

つらかったことは寝れなかったこと

よかったことはSREっぽいことしたかったので オペレーションはぼくじゃないやつ

チャットオプス、slackBotにキャラ付けするといいかんじ

k8sとAnsible相性わるいと思ってたけど良かった

実際やりたいこととクラウドネイティブの理想の差分をAnsibleがうめてくれた

パイプラインでシェルを挟みたいところでAnsibleくんがかつやく、 モジュールの多さとかで発展途上なのがうまる

ーーーーー

今更だけどgroup_varsとhost_varsについて言及したい

磯ベさん クラウド電子カルテをつくってる会社にいる

https://speakerdeck.com/isobetomohiko/jin-saradakedo-group-varstohost-varsnituite-yan-yan-itai

好きなモジュールはtemplateとaws

ことしのあるとき、2.3から2.4にしたらエラー出た

めちゃしょっく

うまくgroup_varsとhost_varsがよめてなかった

最初のパスがインベントリファイルからの相対パスになった

インベントリサブフォルダにわけてた

サブディレクトリのパターンとかいろいろデバッグモジュールでみた

site.ymlと同じ階層2.3、同じ階層のが読まれる 2.4もOK、直下のインベントリなら大丈夫 ほか、インベントリファイルの↓がよまれてたのでサブディレクトリにするとだめっぽい

grouop_vars,host_varsのしたにつくったインベントリは読まれた

キータにかいたのであとでみてね https://qiita.com/isobecky74/items/86bd1a18afe1f556656d

ツイッタで見たの

inventoriesの直下というか、 inventories/developの下に group_vars, host_varsを作れば パスを指定する必要もなくなりますよ Ansible Alternative Directory Layout https://docs.ansible.com/ansible/2.6/user_guide/playbooks_best_practices.html#id12

ーーーーーー

ansible windows系モジュールを書いた

ふくださん@iij

ニッチな話題ですみませんでしたと最初に謝罪

windows素人なのになぜかやることになった

windows,ansible,fluentdで組み合わせてやってみた 新規に増えたり減ったり、イベントログとったり

動的にconfigジェネレートしてタグの情報を集めなさいみたいなので今回fluentだった windowsのモジュールがない

ダメなほうにのるやつ windowsシェルでバッチを書くという

マッチベター とレジャーデータが配ってるtd-agentをLinuxのGemらしくコントロールしたかった

まとめ 2000ちかくモジュールがある、ウィンモジュール、 バッチファイルかいてウィンコピーとかするとだめ、 バッチかけるならパワーシェルかいて頑張るとモジュールになって、 すくなくともAnsibleっぽいせかいにいける

ーーーー

NextRelase Ansible2.8

かりーさん@ななみゅーじっく

好きなモジュール

win_hostnameとかいろいろ書きだすととまらない

クラウドやサーバをいろいろやってる

AWSでかってにやってる朝起きると通知がとんでる

AnsibleのTerraformモジュールというのがない 最新版と開発版しかつかわない

2.4からvaultの変数単位の暗号化が可能なのでやってみて

2.7が10/4にでてる、2.8は?ゴールでんぅいーくくらい

2.8からちょっとかわるかきかた 廃止される ec2_remote_facts

win_msi,win_machine

昨日じてんで160個、 個人的メインモジュール aws_codecommitとかiam_password_policyとか

困ったら私のブログみてね

NARATIVE? バージョンごとのモジュール、引退モジュール

https://awsbloglink.wordpress.com/2018/09/05/ansible-2-8-new-module-list/

ansible2.8より元号対応を優先したほうがいいですよと

ーーーーー

5分で振り返る2018年ネットワークモジュールupdate

https://www.slideshare.net/mobile/akira6592/2018ansible-nw-furikaeri

よこちさん@APコミュニケーションズ

2.5~2.7アーキテクチャ的な機能追加もあったので

SDのansible特集もよろしくね

追加モジュール結構あるよ そのた、ネットワークモジュール用のコネクションプラグインができた NetworkCLI,NetConf いままでずっとlocalたった

ファイル転送のモジュール もってきたり送ったり

http_api apiもってる機器むけ

ベンダー非依存型コマンドモジュール

cli_command/cli_config

プラットフォームを中の設定で振り分ける ほかのモジュールとはちょっと違うので要確認

まとめ

2.5~2.7、コネクションプラグインが3つ導入

エクストリームの人が4つぐらいついか

モジュールも追加

来年もナパームコネクションプラグインとかでてきそう

ーーーーー

トピックでの有志メンバ-募集、slackでよろしくとのこと

アドベントカレンダー2つあります

https://qiita.com/advent-calendar/2018/ansible

スーツケースにつけて空港で見分けるグッズをいただきました。ありがとうございました!

では見ていただいてありがとうございました。またそのうちに。

ソフトウェアデザイン 2018年12月号

ソフトウェアデザイン 2018年12月号

  • 作者: 中島倫明,横地晃,齊藤秀喜,楠正憲,三廻部大,鷲北賢,くつなりょうすけ,安藤幸央,結城浩,武内覚,宮原徹,平林純,職業「戸倉彩」,速水祐,樽石将人,清水琢也,山田泰宏,田代勝也,eban,中村壮一,上田隆一,谷口岳,mattn,すずきひろのぶ,小飼弾,青田直大,やまねひでき,あわしろいくや,中島雅弘,法林浩之,関治之,後藤大地,杉山貴章,Software Design編集部
  • 出版社/メーカー: 技術評論社
  • 発売日: 2018/11/16
  • メディア: 雑誌
  • この商品を含むブログを見る

インフラCI実践ガイド Ansible/GitLabを使ったインフラ改善サイクルの実現

インフラCI実践ガイド Ansible/GitLabを使ったインフラ改善サイクルの実現

逆引きPython標準ライブラリ 目的別の基本レシピ180+! (impress top gear)

逆引きPython標準ライブラリ 目的別の基本レシピ180+! (impress top gear)

もちもち骨付きマンガ肉(M)

もちもち骨付きマンガ肉(M)

ソリューションアーキテクトpro受かったので備忘録

こんにちは。タイトル通り個人的備忘録です。

2015年に最初に受けた時には恥ずかしながら正答率38%だったんですが先日11/23に受けてきて77%で受かったようです。ほぼ長文問題で170分もあるとさすがに62/77問目くらいでもう飽きちゃったな〜ってなりました。 まだちょっと実感がアレですし出題されるあらゆる構成を仕事としてやっつけたわけでもなくペーパードライバー的かなとは思います。 新形式の試験に変わるギリ最後でアソシエイトアップグレード更新できてよかった、のかな?たぶん。

参考になったサイト貼っておきます。

【AWS認定】ソリューションアーキテクト プロフェッショナル(AWS CSA-Pro)に合格してきた【英語重要】 - Qiita

AWS Certification Catalog

やったことはまあ普通にホワイトペーパーとブラックベルトとマニュアルみてセミナー行って問題解いて見直したかんじ。まあ出た当初から普遍的な構成の検証したりこれまでそれなりの規模の構築の経験はあったりも。セキュリティJAMめっちゃ面白かったです(定期開催じゃないぽい)。見ただけだと覚えないので検証する時間を取れればベターで無理そうなやつは自分なりにまとめた写経(キータ非公開)のようなことをしていました。実際やったことがあるやつはそこそこ長文でもすぐに正解が分かるので正確な情報をおさえれば解けるやつを増やすようにした感じ。普段使わないサービスまで無理矢理覚えるの普通にめんどくさかったけどもこんな面白いことできるんやなってのも色々ありました。

子が小学生になり登校時間の関係で朝早く着くので毎日一定時間をかけるという事が可能になったことが効いた(小さいうちは気にいる服じゃないと着てくれず出かけられない的なのもマジであった)のはあるし時間が経つと攻略法が充実してくるのとchromeのブラウザ翻訳のおかげで英語情報を得られたのもあります。

スペシャルサンクストゥー参考情報提供の職場の先輩と同僚などの愉快な仲間たちと理解(否定せず放置)ある家族、ということでありがとうありがとう。

なんでもそうだけど、簡単なところからはじめて小さく成功を積み諦めずに続けてると段々と楽しくなってくる時が訪れる。(脳が騙されてるのかも?ですがw) 脳細胞の様に情報が繋がっていく感覚や新しく知らなかったことを知ることが楽しいものだと思い出すという体験ができたのはよかったかなーと。大変だったけども(ついやってしまうパズルゲームを消したり実質ほぼゲーム断ちと冬コート仕立て出来ず他色々)。こういう条件から適した構成出すとかはそのうちAI的な何かに取って代わられる日が来るかもな〜てちょっと思ったりも。ただ現時点では知らないことが効率悪かったり罪になったりすることが多いんだろうなとも。

つぎはなにしよう。これとった動機はリセールパートナー資格として一定人数所定の有資格者が必要ってことでした。誰かの役にたつのが分かってる目的とやることがはっきりしてることだと取り組みやすいかな。

まあへなちょこなりにマイペースに頑張ります。生き急いで睡眠不足で早死にするのはいやだ〜。人と比べて焦ったところでできることは限られてるので個人的な精神衛生のためにもマイペースってだいじなのかな〜。まあ今回は執念が報われたのでよかったっすね〜。

ではみていただきありがとうございました(^^)

自分へのご褒美↑ 美味しかったです。約3時間問題を解き続けてお腹がすいてたのです。

食べたい人は以下で探してお近くの店舗へどうぞ。

Yesterday's tomorrow | カルビー株式会社

いつもあるわけじゃなさそうなのでなかった場合には雪見だいふく買ってきてみたらしあん作るか買ってかけるといいかも。

レンジで1分♪みたらしのたれ by アトリエ沙羅 【クックパッド】 簡単おいしいみんなのレシピが300万品

Amazon Web Services企業導入ガイドブック -企業担当者が知っておくべきAWSサービスの全貌から、セキュリティ概要、システム設計、導入プロセス、運用まで-

Amazon Web Services企業導入ガイドブック -企業担当者が知っておくべきAWSサービスの全貌から、セキュリティ概要、システム設計、導入プロセス、運用まで-

秋の思い出2018

こんにちは。いつもの備忘録です。

革が縫えるすごいやつのセミナーで縫って来ました。口金つけるとこで裏地がないと寂しいので家でやるとわがまま言って途中で帰ってきました。薄い柔らかな革ならご家庭の厚いのが縫えるミシンでもいけると教えてくれたので針と糸を厚地用にして裏地と革を縫い合わせてみたところ大丈夫でした。

エクシムプロ EP9400LS 極(きわみ) | babylock

プラ板で嬢ちゃんと合作キーホルダー作ったけどもじいちゃんがちょっと可愛すぎてガッカリしてたので、京都土産の家紋根付を後で代わりにあげたら喜んでました。

  • 運動会

久しぶりに唐揚げあげました。赤組勝って嬢ちゃん喜んでました。準備でダンスに使うパラバルーン的な小道具の布を縫うのを手伝ったりしました。当日は天気が若干アレだったけどもだんだん晴れてよかった。

zabbix4とかcndjpとかいきました。

  • SAP受験

落ちたけど、地味にかたつむり的な速度でホワイトペーパーやブラックベルトを読んでたせいか前回よりは得点10%上がってたので、年末か年度末にはどうにかできたらいいな。というか、3大クラウドそれぞれ資格とパートナー資格絡めてくるのであっちもこっちも言われて順番にやっつける気はあるがちょっと待ってくれと言いたいかな。

  • 夫誕生日

ハンバーグを生成しました。

  • イチゴジャム親子ハンズオン

普段触らないもんさわれて嬢ちゃん楽しかったもよう。キー入力はサポートしないときびしかった。

こどもパソコンIchigoJam はじめてのでんし工作

こどもパソコンIchigoJam はじめてのでんし工作

  • ここ最近みたアニメ

アルスラーン戦記がプライムで無料なのを見かけてみたらラジェンドラエラムの声よく知ってた。

はたらく細胞、おもしろくてこどもにももっと見せろと好評でした。単行本欲しい。

バナナフィッシュ、まだ続いてて嬉しい。高校の時に純文学で妄想するタイプの友達に布教された思い出が。後半作画クオリティ高くなってない?と思ってよく見たらうしおととら作ったとこっぽい。

京の刀展に行ってきました。全国津々浦々行かなくても京都に行くだけで全国的な刃紋の数々が色々な年代のものが解説付きで見られるっておトク!ということで。ひたつら刃とかはじめてみた。刀は高校生の頃に幕末好きの友達に銀座の刀屋に連れて行かれて月刊誌を一時期定期購読してた記憶が。超混んでたけど単眼鏡があると後列からでもつまびらかに見られてオススメ。 ソロ遠征しようかとも思っていたのですが夫に言い出したら行きたいと言われたので夫と娘も一緒に行きました。ついでに色々行きました。楽しかったです。

太秦映画村で嬢ちゃんが忍者になってたのを絵日記(宿題)にかくから見本をかけと言われかいたところ難しくかくなとキレられてテイク2かきました。

  • 芋掘り

義実家の畑で芋掘りしました。泥んこになって楽しかったです。

  • ハロウィンと娘誕生日

ハロウィンコスを娘にオーダーされて マント作れということでネットで探した型紙を参考に作ってみました。

http://dr-cos.com/fp-vampire-c140.html

誕生日プレゼントはわたあめ機てことでわたあめもつくりました。

料理はアクアパッツァとシャーベット初作成。クックパッドで人気順ソートで適当にアレンジしたりなど。 ケーキ嫌いな娘に言われるままシャーベットになりました。トロピカーナオレンジジュースにゼラチンとコアントローと砂糖入れて煮て凍らしてフードプロセッサーで混ぜるとだいぶ美味しかったです。紫のはウェルチのグレープ。グレープ用の酒は思いつかず使わなかったけど娘には好評でした。製菓用リキュール使うと味のランクが変わるかんじでした。

おもてなしにも*簡単!アクアパッツア by まこりんとペン子 【クックパッド】 簡単おいしいみんなのレシピが299万品

オレンジソルベ*ジュースでシャーベット by ラ・ランド 【クックパッド】 簡単おいしいみんなのレシピが299万品

お菓子に使うお酒事典 洋酒・リキュールの種類と特徴 | お菓子とパンの手作り大百科 〜材料や型・道具の「選び方」教えます〜 | クオカ公式通販:製菓材料・道具のオンラインショップ

  • 生活科見学と文化祭

まあ、どっちも私は弁当作っただけで動物園行ったり発表したのは嬢ちゃんのほうです。楽しかったらしい。

  • その他の手芸

とりあえずこんなところで失礼します。 見ていただいてありがとうございました!

家紋ストラップ紫 下がり藤 21ミリ

家紋ストラップ紫 下がり藤 21ミリ

ラカントS 顆粒 800g

ラカントS 顆粒 800g

夏の思い出2018/6-8

こんにちは。smallpalaceです。

なんか知らんうちに秋が来てたので、こどもの小学校のお祭りやプールや夏の思い出の話の備忘録などを。後半写真貼ってるだけです。

娘の小学校で祭りと同時に開催されるバザーになんか出してよというおたよりに手づくり品です票がついてたので、これはなんか出したら学用品の足しになったりするのかなということで飾り結び(八坂紋結びという京都の祇園にある神社の良縁を司る結び)のコサージュクリップを出してみました。バザー当日値下げ前に誰か買ってたらしく無くなってて特に今も戻ってきてないのでたぶん何かの足しになったと思われる。よかったです。

去年娘に七五三の髪飾り作ったときに本見て色々結んでみたんですが、八重菊結びが最も難易度高くて八坂紋結びはそこまで大変じゃなかったです。

やさしいひも結びこもの (Heart Warming Life Series)

やさしいひも結びこもの (Heart Warming Life Series)

娘はお祭りに甚平に帯つけて行ったところ他の子達ほぼ全員普段着の洋服で、気後れしたのか着替えに帰ってしまいました。残念。普通の盆踊りや花火の時にまた着てもらおう。

プールは写真はとくにないですが、娘の成長を垣間見たというか、プール大好きすぎてずっと休みもせずに泳いでて強制休憩で渋々上がってくる、流れるプールであっちゅうまに追いつけなくなって母ちゃん息切れ、という感じでした。学校のプールの授業では最も早いチームらしい。 体格良いから運動すきなのかよくわからないですが家の中にアスレチックがあれば良いのにとか言い出す子ですね。私もそういえば実家の二階に外からよじ登るとか登りやすい木のてっぺんまで行くとかしていたので多少遺伝な気もします。

5月にはじめたピアノはまあまあ簡単な両手にさしかかってきたところで、できないって言うのを練習すればいいんだとなだめていっしょに取り組んで慣れてきた感じです。

ピアノソロ 入門~初級 ディズニー・ソングス ベスト40

ピアノソロ 入門~初級 ディズニー・ソングス ベスト40

ドラゴンクエスト/ピアノ・ソロ・アルバム <I~V全曲集> (楽しいバイエル併用)

ドラゴンクエスト/ピアノ・ソロ・アルバム (楽しいバイエル併用)

保育園の夏祭りに呼ばれて行きました。手動ワニワニパニック

墓参りの時に近所の店でオヤツ食べました↓

夏休みの宿題の工作。お菓子の箱に塗装した貯金箱。

台風の時にコロッケを作りました。混ぜたり衣つけたりをビニール袋でやりました。片付けが楽でした。

夏休みは給食もお休みなので毎朝学童弁当作りました。リラックマいなり寿司の出番は一度だけでした。冷凍食品が大活躍。

ミニサイズの城を作れるキットを見つけてしまったので買って作ってしまいました。こういう地味な作業の果てになにかできあがるの大好きです。

新潟あたりのほうでジップラインと川釣りとラフティングしました。ラフティングは川で泳いでokタイムに降りずにいたら船頭の人にグルグル回転する感じにボート漕がれて遠心力で落とされました。

釣って焼いて食べた。

へぎそば。

フリルをボタンホールくらいの縫い幅でジグザグミシンで片方を針通さない縫い方でやるというのを本に書いてあるとおり作ったやつ。あたしのも作ってって言われました。

つまみ細工のコサージュクリップ。ピンクは3年前に作ったやつ。

素敵なつまみ細工 (レディブティックシリーズno.3996)

素敵なつまみ細工 (レディブティックシリーズno.3996)

花火。

ばあちゃんから旦那さんにおみやげにもらったビール。

お盆に義実家に行ったときもお菓子などいろいろいただきました。いとこやはとこの子と遊んで娘も楽しかったようでした。

娘の夏休みの宿題はたぶんあと一行日記が残ってるかな。ドリルは計算が好きみたいで学童ですぐ終わってたので他が終わってから適当に若干難しそうなの買い足しました。

一行日記用の天気見かけました。

読書感想文書いた本↓

モンスター・ホテルでパトロール

モンスター・ホテルでパトロール

しにがみの顔がこわいところがお気に入りというような感想書いてました。

では、見ていただきありがとうございました☆

またそのうちに。

きみ、なにがすき?

きみ、なにがすき?

195*114cm ハイドロフォースラフトセット

195*114cm ハイドロフォースラフトセット

メタリックナノパズル プレミアムシリーズ 大阪城

メタリックナノパズル プレミアムシリーズ 大阪城

MySQL8.0atFBのセミナーに行ってきた

こんにちは。smallpalaceです。

mysql8.0とFacebookの中の人がMySQLどうつかってるか話すセッションのあるセミナに7/5に行ってきましたので備忘録です。

https://eventreg.oracle.com/profile/web/index.cfm?PKwebID=0x560881abcd

ーーー

8で大きく変わったもの

GISをサポートし球面座標で改良されている ユニコードをデフォルトキャラクタセットに、マルチバイトがデフォルトに

目指してるのは大量データを扱うtころ

Jsonデータ型、アプリケーション開発者に柔軟性を。更新性能最適化、関数を追加してSQLに近い操作

新規、データ分析処理の効率向上

共通テーブル式、WITH句一回つくったものを使いまわす Windows関数、ランキング作成などの分析用とで

アプリケーションの性能拡張性向上 アクセス集中時の対応改善 不可視インデックス パフォーマンススキーマ ヒント区によるセッション変数変更

MySQLサーバの性能拡張性向上

セキュリティの強化 SQLロールの実装、 ログファイルの透過的暗号化  バイナリログは開発中

Window関数 国ごとの売り上げ 国ごとのトップセールスマンの売り上げ 1位以外を出すときに手間がなくなる例の紹介が

Jsonデータ型 インサート時に誤りがあったらバリデーションチェックが入ったり JSONとGeneratedColumns ファンクショナルインデックス カラムとして持つことができる 値の実態はもたないメタデータ 仮想カラムにインデックスを付与することができる

属性情報を更新する

JsonTable関数 目指しているのは、リレーショナルとドキュメントデータベース選ばなくてもハイブリッドとしてつかえるように

MySQLShell 使った操作ができるようになりましたと

データベースの操作ご案内

ROLE SHA256 のキャッシュで毎回セキュアな情報を暗号化

InnoDBのRedログUndoログ

コミュニティ版もOpensslをリンクするようになった

8を待たずにInnoDBクラスタ

マスタが障害にあったときデータを引き継いで昇格したい グループレプリケーションでできる

InnoDBがついてないMySQLクラスタ(NDBCLUSTER) 1年かけて7.6GA シャーディングロードバランシング、高可用性 インメモリデータベースで共有ディスクで分散型シェアードナッシングアーキクチャ サービス停止することなくローリングアップデートなどが可能 リアルタイム性と高可用性 ノード間でデータを持ち合っている

EnterprizeMonitor、Enterprizebackuo

バックアップが43倍、レストアが80倍の速度に。

ClusterManager ダウンタイムの低下、管理性の向上

サポートもあるよと

ーーー

MySQLatFacebook 松信さん

  • UDBという巨大なユーザテーブルのはなし
  • どういう機能をなぜつくったのか
  • MyRocksというストレージエンジンを使ってるがなぜ作ったのか
  • 8.0で何に期待してるか について話す

Facebookは大きなMySQLヘビーユーザで現在は5.1から5.6をつかっている オラクルの5.6に対してパッチを当てて使っている パッチは公開していてオラクルさんに取り入れてもらう MySQLそのものでビジネスをしているわけではないので本家に取り入れてもらったほうがいい

次のアップグレードは8.0の予定 8.0に必要なパッチとそうでないものを評価中 今年中ということではないが検証をすすめている

UDBというメインのユーザデータベース FB上での行動自体を保存しているソーシャルグラフ

シャーディングして情報を管理している たいていの場合は大きなレコードキャッシュ(mecachedのようなもの)

遅ければ遅いほどユーザ体験が遅くなる、性能自体を意識してチューニングしている

自動バックアップや自動F/Oなど定型的な作業はすべて自動化している

ストレージフラッシュにすることでスペースを減らしてる

最初はInnoDB圧縮機能をチューニングしてたがあきらめてMyLocksに移行したという流れがある

運用と開発してつかうチームがいていろんな機能を必要として作ってきた

InnoDBのオンラインデフラグ

Btreeだと断片化してくがそのオーバヘッドを減らしたい、勝手にデフラグしてスペースを減らしたい

ALTERTABLE deflugとか機能つくって定期実行など20%くらいのスペースの削減ができたが デフラグするぶん書き込みするのでI/O負荷があるがスペースは減った

InnoDB_dowblewrite、電源おちたときにページ壊れたら修復する機能

2回書くことでメインが壊れても修復できるやつ dowblewriteだと4kbのページが16kbになってしまう。ので実際どこが壊れてる可能性があるかをわかるようにする機能をつけて 壊れたやつはすててほかのスレーブから複製するようにした

それがどのくらい信頼できるかは環境のストレージによる

ロジカルリードアヘッド、ハードディスクドライブのやつ

mysqldumpで論理バックアップをつかっている、1日以内にバックアップが取れないことが問題に。 フルテーブルスキャン、主キーがuidだとランダムになりやすい?

プライマリキー、飛び飛びでバックアップデータよんでる、ハードディスク上では遅い

それを防ぐのにロジカルリードアヘッド、フルバックアップなので物理的な順番でスキャンするのを少数のシーケンシャルリードするようにした

非同期のMySQLクライアント、非同期で投げて後で受け取るとか、 上限値を決めて最大20ユーザで

ユーザ毎のデフォルトセッションvariableごとに処理をわける

耐障害性、sync_binlogを0にしてもほかのスレーブからもってくるようになど

バイナリログを圧縮して送ることをしている、スレーブがたくさんあると何回も圧縮することになるが glibじゃなくzstdつかうとかしている

Flush tables with read lock,重いのでなくていけるようにしてるなど

いくつかは本家にバックポートされてる

BinlogServerというのがインフラの中で大きな役割をもってる

バイナリログというのは重要なものでレプリケーションはこれないと動かない

汎用的なbinlogさーばに保存してく、これがないとれぷりけーしょんつくれない

1週間とか2週間とってく、booking.comもこのへん力入れてるらしい

クライアントがMySQLプロトコルサポートしてる

マスタとスレーブ、スレーブはマスタからよむけどなかったらbinlogサーバからよむ

準同期レプリケーション、コミットしたスレーブの応答を待つのに近いところにないといけない、 FBはそれぞれ5つか6つくらいのくらすたがある

が地域がばらけてる、コミットしたとき必ず数百秒かかってしまうので、ビンログサーバをマスタと同じ近所において そこに書かれたら準同期レプリケーションが成立するかんじで遅れないようになんとかしている

binlogサーバはFBの内部のAPIに依存してるのでオープンソース化が難しいがなんとかしたいと言ってるところ

レベルdbというやつをフォークしてMyRocksというストレージエンジンをつくった

読み取りコストは多少あるが書き込み負荷すくなめでスペースがすくないやつ

昨年完成させて移行した。 MySQLはプラガブルストレージエンジンなので、同じ接続方法でつかえてクライアント変えるコストがない

UDBというメインDBをInnoDBからMyRocksつかってる 圧縮効率がInnoDBよりSpace効率がよく半分の使用ですむのでインスタンスまとめたりでサーバ台数が減る

読み取りのコストが データ移行高速化するために いろんなチューニングオプションをオンラインで

MyRocksへの移行で難しかった部分

どっちのデータも正しいかとか 処理がささったりなどのモニタリングしてく

MyRocksはネクスキーロックギャップロックつかえない、ステートメントベースが使えない (binlogフォーマットが)Rowベースでないと、でも前からそうしていた

スレーブいっことめて複製してSQLデータで複製してく

RocksDBライトオプティマイズで書き込み最適化、早いがデータコミットするとRedoログ、めmテーブルがいっぱいになると

コンパクションで最適化されたデータファイルがつくられてく

6段階くらいを経てデータファイルがつくられてく

1倍とだとしても何回もかくので何倍かになる(InnoDBよりはすくない)

InnoDBからダンプするときorderbyprimaryとかあるがそれと同様に主キーソートするようにして時間削減した

重要なデータが抜けてないかデータが正しいか RocksDBは新しいのでチェックがいる

件数が違ったらとかGTIDつかうことで同時に同じGTIDをセレクトして同じかチェックするなど MyRocksバックアップというやつをつくって複製した

マスタにするのはCHANGE MASTERにするだけだがクラッシュしないように auditプラグインで別のとこに投げてデータが壊れないことを検証するなどしてた

発展途上でInnoDBほど完成されてない DBA観点から、ダイレクトI/Oが貧弱でbufferdI/Oがリナックスでは十分でなく カーネルがメモリを割り当てるときにストールすることがあるのでその辺を新しいカーネルで修正したり

誰と誰がという関係性、アソシエーション、タイプごとにカラムファミリーがある

レベルごとに圧縮アルゴリズムを指定できる 読み込みを高速化するなどもレベルごとに処理をかえてる

bufferd-I/OよりODirectがやっぱりいいな、とそちらにむかってる

たくさんのファイルを削除するとそこがささってしまうのでそれを高速にやらないようにしている バイナリログトランザクションログとパーティションわけてる

コアファイルをつくるようにしてたRSSでなくバイナリファイルで、リナックスが何をするか エクステンド、コアファイル生成しないようにした

スパースファイルで圧縮してとかの調査してた 最近はpstacでログにはくようにしようということにしてる

他のデータベースもMyRocksつかっていきたい

FBメッセンジャーはHbaseにしてたが去年MyRocksにおきかえてた LSM、Hbaseのが書き込みが早い 進化についてこれなくなったHbase、なんかMySQLに戻った

フラッシュストレージでうまく動かないというのが最大の理由、 CPU使いすぎるのでデータをのっけられない、Javaガベージコレクションが生じたときの刺さるやつが目立つようになった

Hbaseをフラッシュストレージに対応させるには原型をとどめない改造が必要だったのでMyRocksにかえることに。 根本的なアーキテクチャの違い、性能効率が大きく上がった

データの一貫性はアイリスというシステムで頑張ってた 2か所に書き込んでチェックなど

ーーー

8.0への期待(FBの) 我々のパッチを移行しつつ取り入れてもらえるように

パフォーマンススキーマがよくなったらしいので既存パッチを捨てられる

トランザクションddlというテーブル変更がアトミックに

オプティマイザの統計情報がよくなってるとこ グループレプリケーションもソリューションとしてスタンダードになってくだろうと

現在足りない機能がある、IPV6のサポート、パクソスのマルチプライマリという1レコードコミットで3往復くらいするのがちょっと冗長。 シングルプライマリで効率よく動くほうがよくコミットが1往復がいい

ライブマスタプロモーション(手動でマスタを別マシンにうつしたい)が、できないとこがまずい (たしかにMHAだとそれできますね) このへんの課題は認識されてるのでそう遠くないうちにサポートされるはず

ーーー

8.0へのアップグレードポイントとパラメータ比較

やまざきさん

こうパラメータかわったのでここ気を付けてねと

いったん5.7最新に上げてから上げたほうがいい

マイナーバージョンでパラメータ追加されたりする

バージョン間の仕様変更に関するやつ

非推奨になった機能なども資料ダウンロードできるので追ってご確認ください

バージョンアップによって互換性が失われる変更などがある

まとめてチェックできるユーティリティがありMySQLシェルのアップグレードチェッカーというもの 修正箇所を一覧でだしてくれるもの

開発ブログでもアップグレードチェッカーつくったよというのがある

システム変数のパラメータ名が変わったやつがある バージョンリファレンスでわかるようになってる一覧がある 差異をかくにんする マニュアルから各パラメータの詳細を確認するとどのバージョンからどう変わったとかかいてある

Setvarヒントについて、オプティマイザヒントというのが少し前に導入されてる SQL文のなかにコメントとしてヒントを埋め込むというのができるように、それの種類が8.0から増えてる このセレクト投げるときにソート用のメモリ領域を一時的に大きくするというのができる それができるかどうかSetverヒントで説明されてる。セッション単位で変更できるものがすべてがヒント書けるわけでもない

5.5~7までのパラメータ比較したエクセルファイルも公開中

参考情報で富田さんのパラメータ比較ツールもあるよと オラクルオフィシャルではないですがと紹介

utf8mb4になったよ、デフォルト照合順序も変わってる ソートしたときのデータの並びの順番が変わると思うので注意してください

バイナリログはデフォルトで出力されるようになった log_slave_updatesもデフォルトで有効になってる

バイナリログも自動削除になった expire_logs_daysが非推奨でそのうち廃止されるので注意 bin_log_expire_log_secondesのデフォルト値は30日相当になってる 両方設定されてるとexpire_log_daysは無視される

リレーログインフォリポジトリとかデフォルトでテーブルになったので注意 マスタインフォリポジトリも。クラッシュセーフスレーブというやつで5.6からあるパラメータ。 合わせてrelay_log_recoveryはtrueにしないとデフォはfalseでクラッシュセーフにならないので注意

認証方式がcaching_sha2_passwrdこれクライアントが対応してないと認証エラーになるので注意

ネイティブパスワードを対応してないクライアントにはつかう

タイムスタンプ型の挙動変更 行更新されたときに自動的にTimestamp型の列に更新日付が入る動作が無効化されてる

SQLモードの変更、SQLの挙動のデフォルト値、NoAutoCreateUser自体が廃止されているので注意 ユーザが存在しない状態でGrant文で権限を与えることができなくなる、つまりGrant文でユーザ作成ができない ダンプファイル入れるときにSQLモード指定してるとエラーになる

Undoログファイル、ibdataとは別管理になるのでundo_001とかが増えてる 自動的にサイズが縮小されるのがデフォルトで有効 128回undoログのパージが呼び出されると縮小する

Xプラグインの有効か、ドキュメントデータベース用のやつ REDOログUNDOログ暗号化追加できるデフォルト値falseで暗号化されない クエリキャッシュは8.0で廃止されてる 関連パラメータは削除されるので今後つかわないように、廃止理由などは開発ブログにあるよ

入門セミナを8.0に対応させて7/23にやります初歩的なインストールとアーキテクチャの解説など

ーーー

そのたのイベント

梶山さんから

7/23のほか 申し込みサイトにそのうち出ますと

8/1水曜、ヨーロッパでのgtprに代表されるセキュリティレギュレーション  8.0セキュリティ新機能

9/14金曜日  ベンチマークにまつわるいろいろ、そのものの性能のはなし  InnoDBの開発者の人来日する

セールスコンサルタント、プリセールス人員募集中ですとのこと

ーーー

QA

Q 松信さんにMySQLのマイナーアップデート、8.0どんなことをかんがえてるか

A オラクルが3か月に一回新機能リリース、 バージョン上げるときにレギュレーションチェックして、カバレッジあげて自動的にテストいかにやるか、 そこは力入れてるところ、シャドウシステムというのがありauditプラグインで投げたやつを性能の悪化など検知できるようにしている カバレッジを上げることでバージョン上げる恐怖感をへらしてる

Q UDBというメインDBについてお話いただいて、組織おおきいしその他いろいろあると思うが、役割分担とか管理上の違いは?

A MySQLチームというのがある、アメリカとロンドンで20人くらいあって  機能別でオートメーションとかフェイルオーバーとかバックアップとかごとにわかれてる  DBごとにわかれてはない  サービスとかでなく自由につかえるとこのほうが問題がおきやすい  UDBとメッセンジャが1番目と2番目に大きくてトップ2をかいたというところ

Q G4dでパフォーマンス上きになるところ、メモリのチャネルすくないとか問題なったりしないのか

A ハードウェアチームがいて評価するひともいるしローレベルのエキスパートがいて検証したりする  メモリが高いのでメモリを減らす、それを減らすには圧縮、CPU負荷が上がるが顕在化はしてない  →FPGAで検証する?  →それはビデオとか、デコンプレッションのとこはそんなに50%とかつかってるわけでないのでコストが見合わないかもというはなし  gCCでビルドしてたがcLANとかのコンパイラをつかうことでcpu負荷へったりした  トリム、lOCKSDBのコンパクション、負荷がたかいときとかぶらないようにしようという  運用としてはファイルをゆっくり消す、60MBずつ消すという設定を追加してそういうふうにしてる

ーーー

誤字あったらマサカリ投げていただいて構いません。 7/23は夜にMyNAあるようです。 MyNA(日本MySQLユーザ会)会 2018年7月 : ATND

では、見ていただきありがとうございました!

GitlabMeetupいってきた20180713金

こんにちは。SNS枠で行ってきたので備忘録です。

GitLab Meetup Tokyo #8: GitLab 11.0 - connpass

#gitlabjp hashtag on Twitter

ーーーー

11の紹介 大きな変更はAPIv3の完全廃止

ーーー

ああしておけばよかったTips GitlLabGroupの構造編

GUIでやるやつ。プロジェクトいっぱいある人の追加。APIでもできるけど確認がめんどくさい。 グループをアプリケーションなどの大きい単位でつくるのでなく小さいのにわける 将来的にはこういうふうにやりたいと

ShareWithGroup チームを選択して権限を設定してあげれば楽になるかも

マスタブランチにマージ権限ない人がマージできてる事件 インフラの人でアドミン権限があってマージできてた git操作するアカウントと管理するアカウントは分けたほうがよかったかも

IssueTemplateをつかう

/label /cc /asign

まずはアサインをリーダにしといてあとで投げてもらう

アーキテクチャ決定経緯の記録(GitLabにサンプルあり) そのテンプレートとか

ポストモーテム 障害の振り返りなど そのテンプレートが公開されている 実際の対応状況も結構オープンになってて参考になる

Board Group配下の看板をまとめてみれる

手動時間指定で実行

Jenkinsの下位になってsharedrunnerとか使う GitlabGI.yaml

Anchor 同じようなジョブを無効かするときにつかう機能など

CILintというボタンでコピペしたやつのシンタックスをチェックできる

メンテナンス通知がpush時やログイン時に表示される機能

wikiとかを参照したいとき メンテ時でもwikiを参照することができる機能が。

WebID

DockerExecuterでターミナルからデバッグとかリアルタイムレビューとか

Gitlabの事務手続きから各チームの行動ポリシーまで様々なことが記載されててすごい。

ーーー

Gitlab APIのちょっと変わった使い方 - Google スライド

ジ・アさん

APIのラッパーで操作したい話だった どのプロジェクトに修正を反映するか、Issue、ブランチ、マージリクエスト、をつくる フォーク元に更新が入ったときにフォーク先にMR送るみたいなことみたい。 反省:共通資材はきれいにつくる、開発が進むとカバーできなくなる部分が増える

ーーー

operate_free_gitlab - Speaker Deck

ぐるなびの人

リポジトリホスティング導入の歩み、2014年ころから

ロゴのインパクトの話 マージリクエストが終わらない(8で改善) システムを複雑にしていた(さいきんはオールインワン) I/Oが思った以上に出ない(NFSにしたらしいがLVMで解消(ファイバーチャネルじゃなかったならそうだろうなと思いました))

バージョンアップ作業の自動化 機能テストの自動化 ELKEFKによるログの可視化 応答遅延・50xエラー検知で再起動 ーーー 質疑

→トリガはJenkinsで動かしてグループ作る枠をつくるとこはAPIでつくる pushやブランチづくりはローカルコマンド IssueやマージリクエストはAPIで実装してる

バージョンアップ毎月?どんなふうに?そのまま更新? →ユーザ数多いといっても夜間は誰も更新しないのでその時間でやっている  ロードバランサのしたにぶら下げてるのでアクセスない状態にしてやってる

さいきんのゼロダウンタイム? →ためしてない

ソースでインストールしたやつからオムニにかえたときどうした? →まず、7.3、ソースと同じのパッケージをバックアップをほかのサーバにレストア  バージョン統一してから、コンバートしたりきざんで上げて行ったりしていた

LB配下で冗長化、アクティブ・アクティブ? →アクティブスタンバイです

資料のなかでIssueでアーキテクチャの意思決定までしてる? あえてwikiよりissueがべんりだったとか? →アーキテクチャの意思決定はトライアンドエラー  じっさいプロジェクトをみればwikiとissueをみればアーキテクチャなんとなくわかるよってのがいい  公式のグループとかタグの数とかがすごくてどうやってんのかわたしもきになる

ーーー

ということで備忘録でした。

見ていただいてありがとうございました⭐️ またそのうちに。

GWと5月のできごとなど2018

こんにちは。smallpalaceです。

あれ、もう6月だいぶすぎてた。まあGWと5月の備忘録などを。

  • ホビーショー

ワークショップしまくりでたのしかったです。ステンドグラスととんぼ玉が最近気になっています。

トンボ玉 (家庭ガラス工房)

トンボ玉 (家庭ガラス工房)

  • BBQ

楽しかったです。

私の母と娘と行きました。夫は俺が居ても邪魔だろうと遠慮してたのでたぶん家でゲームか自転車外こもりか寝だめか何かしてたんじゃないでしょうか。

フラワーアレンジメントショーでは講師の先生がケンカした時は奥さんに花束をプレゼントして仲なおりを推奨しており、確かにこんなとこまで来る奥さんには効果絶大であろうと思いました。

夢のように美しかったので母とそれぞれ新苗買ってしまいました。

プロトリーフ 京成バラ園の土 5L

プロトリーフ 京成バラ園の土 5L

  • 手芸

ザ・ワンピースkidsのフリルスリーブブラウスの型紙で作りました。 他にも真四角の布の中央を丸く切ってウエストにしたスカートなど作ったけど写真撮ってないですね。ザ・ワンピース2からフレアスリーブぺプラムブラウスも作ったけど洗ったら縮んでしまったのでこども用にそのうちリメイクしようかな。ただ著者の身長のアレなのかノッポなわたしには胴の丈が足りない感じにどうしてもなるなあと思いました。

ザ・ワンピース for KIDS 篠原ともえのソーイングBOOK

ザ・ワンピース for KIDS 篠原ともえのソーイングBOOK

ザ・ワンピース 2 篠原ともえのソーイングBOOK

ザ・ワンピース 2 篠原ともえのソーイングBOOK

  • 学校公開日と家庭訪問

授業を眺めたり校庭で探し物レクリエーションしたりなど。ツルツルの葉っぱやいい匂い綺麗な色の花とか。

家庭訪問はまあ掃除がめんどくさかったです。それでも雑然としてる感が隠しようもなかったかな。掃除をするのが大体私だからなぁ。あと冬に布を買い込んで縫えていないのがかさばってたり。自作ミシン糸棚に言及あって仕事がそういう関係なのか聞かれたので素直になんの関係もなくて作った服で夢の国で可愛い格好さすことなどなどを説明したところ怪訝な顔をされました。

学校での娘は、元気で明るい、大きい集団に慣れてないからちょっとズカズカ行って引かれてる時がある、一部の男子と小競り合いがあるが注意すると聞く、授業はよく答えて学力問題ないけど集中力がちょっとなくて遊んじゃう、なんか妙に物知り、野菜と卵がきらいだけど最初よりは食べるようになってきた、というのを先生に言われました。あと英語は3年生で半年に一回かららしいと聞きました。まあ本人は楽しんでいるようでなにより。親はちょっとプリントと宿題チェックが多いことに微々たる事務処理能力が限界を迎え気味だけど慣れの問題でしょうか。

絵本 地獄――千葉県安房郡三芳村延命寺所蔵

絵本 地獄――千葉県安房郡三芳村延命寺所蔵

  • 運動

近所の公園を走ってたけど最近途切れている。。スポーツブラはワコールのやつがいいなと思いました。

  • 大江戸温泉

娘と2人で行ってきました。某ゲームとコラボってたので夫は置いていきました。広くて面白かったです。

アース製薬 薬泉めぐり 入浴剤 18包入

アース製薬 薬泉めぐり 入浴剤 18包入

では見ていただきありがとうございました。またそのうちに(*´∀`)♪

夫婦道 がんばらない幸せ -夫婦関係改善マニュアル 夫編&妻編- (SIBAA BOOKS)

夫婦道 がんばらない幸せ -夫婦関係改善マニュアル 夫編&妻編- (SIBAA BOOKS)