ソリューションアーキテクトpro受かったので備忘録
こんにちは。タイトル通り個人的備忘録です。
2015年に最初に受けた時には恥ずかしながら正答率38%だったんですが先日11/23に受けてきて77%で受かったようです。ほぼ長文問題で170分もあるとさすがに62/77問目くらいでもう飽きちゃったな〜ってなりました。 まだちょっと実感がアレですし出題されるあらゆる構成を仕事としてやっつけたわけでもなくペーパードライバー的かなとは思います。 新形式の試験に変わるギリ最後でアソシエイトアップグレード更新できてよかった、のかな?たぶん。
参考になったサイト貼っておきます。
【AWS認定】ソリューションアーキテクト プロフェッショナル(AWS CSA-Pro)に合格してきた【英語重要】 - Qiita
やったことはまあ普通にホワイトペーパーとブラックベルトとマニュアルみてセミナー行って問題解いて見直したかんじ。まあ出た当初から普遍的な構成の検証したりこれまでそれなりの規模の構築の経験はあったりも。セキュリティJAMめっちゃ面白かったです(定期開催じゃないぽい)。見ただけだと覚えないので検証する時間を取れればベターで無理そうなやつは自分なりにまとめた写経(キータ非公開)のようなことをしていました。実際やったことがあるやつはそこそこ長文でもすぐに正解が分かるので正確な情報をおさえれば解けるやつを増やすようにした感じ。普段使わないサービスまで無理矢理覚えるの普通にめんどくさかったけどもこんな面白いことできるんやなってのも色々ありました。
子が小学生になり登校時間の関係で朝早く着くので毎日一定時間をかけるという事が可能になったことが効いた(小さいうちは気にいる服じゃないと着てくれず出かけられない的なのもマジであった)のはあるし時間が経つと攻略法が充実してくるのとchromeのブラウザ翻訳のおかげで英語情報を得られたのもあります。
スペシャルサンクストゥー参考情報提供の職場の先輩と同僚などの愉快な仲間たちと理解(否定せず放置)ある家族、ということでありがとうありがとう。
なんでもそうだけど、簡単なところからはじめて小さく成功を積み諦めずに続けてると段々と楽しくなってくる時が訪れる。(脳が騙されてるのかも?ですがw) 脳細胞の様に情報が繋がっていく感覚や新しく知らなかったことを知ることが楽しいものだと思い出すという体験ができたのはよかったかなーと。大変だったけども(ついやってしまうパズルゲームを消したり実質ほぼゲーム断ちと冬コート仕立て出来ず他色々)。こういう条件から適した構成出すとかはそのうちAI的な何かに取って代わられる日が来るかもな〜てちょっと思ったりも。ただ現時点では知らないことが効率悪かったり罪になったりすることが多いんだろうなとも。
つぎはなにしよう。これとった動機はリセールパートナー資格として一定人数所定の有資格者が必要ってことでした。誰かの役にたつのが分かってる目的とやることがはっきりしてることだと取り組みやすいかな。
まあへなちょこなりにマイペースに頑張ります。生き急いで睡眠不足で早死にするのはいやだ〜。人と比べて焦ったところでできることは限られてるので個人的な精神衛生のためにもマイペースってだいじなのかな〜。まあ今回は執念が報われたのでよかったっすね〜。
ではみていただきありがとうございました(^^)
自分へのご褒美↑ 美味しかったです。約3時間問題を解き続けてお腹がすいてたのです。
食べたい人は以下で探してお近くの店舗へどうぞ。
Yesterday's tomorrow | カルビー株式会社
いつもあるわけじゃなさそうなのでなかった場合には雪見だいふく買ってきてみたらしあん作るか買ってかけるといいかも。
レンジで1分♪みたらしのたれ by アトリエ沙羅 【クックパッド】 簡単おいしいみんなのレシピが300万品
ロッテ 大人の雪見だいふく 生チョコレート 27ml×9個 ×8個
- 出版社/メーカー: ロッテ
- メディア: その他
- この商品を含むブログを見る
丸美屋食品 おもち亭おもちとからめて! みたらしもちの素 3袋入り
- 出版社/メーカー: 丸美屋食品
- メディア: その他
- この商品を含むブログを見る
Amazon Web Services企業導入ガイドブック -企業担当者が知っておくべきAWSサービスの全貌から、セキュリティ概要、システム設計、導入プロセス、運用まで-
- 作者: 荒木靖宏,大谷晋平,小林正人,酒徳知明,高田智己,瀧澤与一,山本教仁,吉羽龍太郎
- 出版社/メーカー: マイナビ出版
- 発売日: 2016/06/10
- メディア: 単行本(ソフトカバー)
- この商品を含むブログを見る
実践AWS Lambda ~「サーバレス」を実現する新しいアプリケーションのプラットフォーム~
- 作者: 西谷圭介
- 出版社/メーカー: マイナビ出版
- 発売日: 2017/06/09
- メディア: 単行本(ソフトカバー)
- この商品を含むブログを見る
秋の思い出2018
こんにちは。いつもの備忘録です。
- 極ミシンのセミナー
革が縫えるすごいやつのセミナーで縫って来ました。口金つけるとこで裏地がないと寂しいので家でやるとわがまま言って途中で帰ってきました。薄い柔らかな革ならご家庭の厚いのが縫えるミシンでもいけると教えてくれたので針と糸を厚地用にして裏地と革を縫い合わせてみたところ大丈夫でした。
エクシムプロ EP9400LS 極(きわみ) | babylock
プラ板で嬢ちゃんと合作キーホルダー作ったけどもじいちゃんがちょっと可愛すぎてガッカリしてたので、京都土産の家紋根付を後で代わりにあげたら喜んでました。
- 運動会
久しぶりに唐揚げあげました。赤組勝って嬢ちゃん喜んでました。準備でダンスに使うパラバルーン的な小道具の布を縫うのを手伝ったりしました。当日は天気が若干アレだったけどもだんだん晴れてよかった。
- セミナー勉強会の類
zabbix4とかcndjpとかいきました。
- SAP受験
落ちたけど、地味にかたつむり的な速度でホワイトペーパーやブラックベルトを読んでたせいか前回よりは得点10%上がってたので、年末か年度末にはどうにかできたらいいな。というか、3大クラウドそれぞれ資格とパートナー資格絡めてくるのであっちもこっちも言われて順番にやっつける気はあるがちょっと待ってくれと言いたいかな。
- 夫誕生日
ハンバーグを生成しました。
- イチゴジャム親子ハンズオン
普段触らないもんさわれて嬢ちゃん楽しかったもよう。キー入力はサポートしないときびしかった。
- 作者: Natural Style,こけし
- 出版社/メーカー: リックテレコム
- 発売日: 2016/05/25
- メディア: 単行本(ソフトカバー)
- この商品を含むブログを見る
- ここ最近みたアニメ
アルスラーン戦記がプライムで無料なのを見かけてみたらラジェンドラとエラムの声よく知ってた。
はたらく細胞、おもしろくてこどもにももっと見せろと好評でした。単行本欲しい。
バナナフィッシュ、まだ続いてて嬉しい。高校の時に純文学で妄想するタイプの友達に布教された思い出が。後半作画クオリティ高くなってない?と思ってよく見たらうしおととら作ったとこっぽい。
京の刀展に行ってきました。全国津々浦々行かなくても京都に行くだけで全国的な刃紋の数々が色々な年代のものが解説付きで見られるっておトク!ということで。ひたつら刃とかはじめてみた。刀は高校生の頃に幕末好きの友達に銀座の刀屋に連れて行かれて月刊誌を一時期定期購読してた記憶が。超混んでたけど単眼鏡があると後列からでもつまびらかに見られてオススメ。 ソロ遠征しようかとも思っていたのですが夫に言い出したら行きたいと言われたので夫と娘も一緒に行きました。ついでに色々行きました。楽しかったです。
太秦映画村で嬢ちゃんが忍者になってたのを絵日記(宿題)にかくから見本をかけと言われかいたところ難しくかくなとキレられてテイク2かきました。
ビクセン(Vixen) 単眼鏡 マルチモノキュラーシリーズ マルチモノキュラー4×12 1105-06
- 出版社/メーカー: ビクセン
- メディア: Camera
- クリック: 4回
- この商品を含むブログ (1件) を見る
- 芋掘り
義実家の畑で芋掘りしました。泥んこになって楽しかったです。
- ハロウィンと娘誕生日
ハロウィンコスを娘にオーダーされて マント作れということでネットで探した型紙を参考に作ってみました。
http://dr-cos.com/fp-vampire-c140.html
誕生日プレゼントはわたあめ機てことでわたあめもつくりました。
料理はアクアパッツァとシャーベット初作成。クックパッドで人気順ソートで適当にアレンジしたりなど。 ケーキ嫌いな娘に言われるままシャーベットになりました。トロピカーナオレンジジュースにゼラチンとコアントローと砂糖入れて煮て凍らしてフードプロセッサーで混ぜるとだいぶ美味しかったです。紫のはウェルチのグレープ。グレープ用の酒は思いつかず使わなかったけど娘には好評でした。製菓用リキュール使うと味のランクが変わるかんじでした。
おもてなしにも*簡単!アクアパッツア by まこりんとペン子 【クックパッド】 簡単おいしいみんなのレシピが299万品
オレンジソルベ*ジュースでシャーベット by ラ・ランド 【クックパッド】 簡単おいしいみんなのレシピが299万品
お菓子に使うお酒事典 洋酒・リキュールの種類と特徴 | お菓子とパンの手作り大百科 〜材料や型・道具の「選び方」教えます〜 | クオカ公式通販:製菓材料・道具のオンラインショップ
- 生活科見学と文化祭
まあ、どっちも私は弁当作っただけで動物園行ったり発表したのは嬢ちゃんのほうです。楽しかったらしい。
- その他の手芸
PADICO パジコ UVレジン着色剤 宝石の雫 10ml 偏光パール 3本セット 403235
- 出版社/メーカー: パジコ(PADICO)
- メディア: おもちゃ&ホビー
- この商品を含むブログを見る
リバティ タナローン 大判 カットクロス 生地福袋 8枚セット リバティプリント
- 出版社/メーカー: Liberty
- メディア: おもちゃ&ホビー
- この商品を含むブログを見る
とりあえずこんなところで失礼します。 見ていただいてありがとうございました!
- 出版社/メーカー: H&Kファクトリー
- メディア:
- この商品を含むブログを見る
- 作者: 清水茜
- メディア: コミック
- この商品を含むブログ (3件) を見る
HAC ハック あめから作れるわたあめメーカー HAC1607
- 出版社/メーカー: ハック
- メディア: ホーム&キッチン
- この商品を含むブログを見る
- メディア:
- クリック: 1回
- この商品を含むブログを見る
BRUTUS(ブルータス) 2018年9/15号No.877[わかる?楽しい! カッコいい! ! 「刀剣」]
- 出版社/メーカー: マガジンハウス
- 発売日: 2018/09/01
- メディア: 雑誌
- この商品を含むブログを見る
- メディア:
- クリック: 1回
- この商品を含むブログを見る
- 出版社/メーカー: レミーコアントロー
- メディア: Wine
- この商品を含むブログを見る
- 出版社/メーカー: サラヤ
- メディア: 食品&飲料
- 購入: 12人 クリック: 22回
- この商品を含むブログ (7件) を見る
THERMOS ファミリーフレッシュランチボックス ドットブルー DJF-4001 D-BL
- 出版社/メーカー: サーモス(THERMOS)
- 発売日: 2013/02/21
- メディア: ホーム&キッチン
- この商品を含むブログを見る
夏の思い出2018/6-8
こんにちは。smallpalaceです。
なんか知らんうちに秋が来てたので、こどもの小学校のお祭りやプールや夏の思い出の話の備忘録などを。後半写真貼ってるだけです。
娘の小学校で祭りと同時に開催されるバザーになんか出してよというおたよりに手づくり品です票がついてたので、これはなんか出したら学用品の足しになったりするのかなということで飾り結び(八坂紋結びという京都の祇園にある神社の良縁を司る結び)のコサージュクリップを出してみました。バザー当日値下げ前に誰か買ってたらしく無くなってて特に今も戻ってきてないのでたぶん何かの足しになったと思われる。よかったです。
去年娘に七五三の髪飾り作ったときに本見て色々結んでみたんですが、八重菊結びが最も難易度高くて八坂紋結びはそこまで大変じゃなかったです。
やさしいひも結びこもの (Heart Warming Life Series)
- 出版社/メーカー: 日本ヴォーグ社
- 発売日: 2010/04/28
- メディア: ムック
- 購入: 1人 クリック: 4回
- この商品を含むブログを見る
娘はお祭りに甚平に帯つけて行ったところ他の子達ほぼ全員普段着の洋服で、気後れしたのか着替えに帰ってしまいました。残念。普通の盆踊りや花火の時にまた着てもらおう。
プールは写真はとくにないですが、娘の成長を垣間見たというか、プール大好きすぎてずっと休みもせずに泳いでて強制休憩で渋々上がってくる、流れるプールであっちゅうまに追いつけなくなって母ちゃん息切れ、という感じでした。学校のプールの授業では最も早いチームらしい。 体格良いから運動すきなのかよくわからないですが家の中にアスレチックがあれば良いのにとか言い出す子ですね。私もそういえば実家の二階に外からよじ登るとか登りやすい木のてっぺんまで行くとかしていたので多少遺伝な気もします。
5月にはじめたピアノはまあまあ簡単な両手にさしかかってきたところで、できないって言うのを練習すればいいんだとなだめていっしょに取り組んで慣れてきた感じです。
- 出版社/メーカー: ヤマハミュージックメディア
- 発売日: 2015/08/09
- メディア: 楽譜
- この商品を含むブログを見る
ドラゴンクエスト/ピアノ・ソロ・アルバム (楽しいバイエル併用)
- 作者: すぎやまこういち,編集部,林知行
- 出版社/メーカー: ドレミ楽譜出版社
- 発売日: 2001/01/30
- メディア: 楽譜
- 購入: 2人 クリック: 4回
- この商品を含むブログ (3件) を見る
バイエル程度で楽しめる アニメ『刀剣乱舞 -花丸-』 ピアノ・ソロ楽譜集
- 作者: 編集部,青山しおり
- 出版社/メーカー: ドレミ楽譜出版社
- 発売日: 2017/12/30
- メディア: 楽譜
- この商品を含むブログを見る
保育園の夏祭りに呼ばれて行きました。手動ワニワニパニック。
墓参りの時に近所の店でオヤツ食べました↓
夏休みの宿題の工作。お菓子の箱に塗装した貯金箱。
台風の時にコロッケを作りました。混ぜたり衣つけたりをビニール袋でやりました。片付けが楽でした。
夏休みは給食もお休みなので毎朝学童弁当作りました。リラックマいなり寿司の出番は一度だけでした。冷凍食品が大活躍。
星ポテト 1kg (mk)(129279)(ポテトフライ フライドポテト)お子様に大人気ポテトフライ!
- 出版社/メーカー: (販売)鳥益
- メディア: その他
- この商品を含むブログを見る
ミニサイズの城を作れるキットを見つけてしまったので買って作ってしまいました。こういう地味な作業の果てになにかできあがるの大好きです。
新潟あたりのほうでジップラインと川釣りとラフティングしました。ラフティングは川で泳いでokタイムに降りずにいたら船頭の人にグルグル回転する感じにボート漕がれて遠心力で落とされました。
釣って焼いて食べた。
へぎそば。
フリルをボタンホールくらいの縫い幅でジグザグミシンで片方を針通さない縫い方でやるというのを本に書いてあるとおり作ったやつ。あたしのも作ってって言われました。
おしゃれ着を手作りで。 (レディブティックシリーズno.4216)
- 作者: 海外竜也
- 出版社/メーカー: ブティック社
- 発売日: 2016/05/24
- メディア: ムック
- この商品を含むブログを見る
つまみ細工のコサージュクリップ。ピンクは3年前に作ったやつ。
素敵なつまみ細工 (レディブティックシリーズno.3996)
- 作者: 花びら著
- 出版社/メーカー: ブティック社
- 発売日: 2015/05/19
- メディア: ムック
- この商品を含むブログを見る
花火。
ばあちゃんから旦那さんにおみやげにもらったビール。
旅の宿 とうめい湯シリーズパック 登別・草津・箱根・白浜・別府×各3包 [医薬部外品]
- 出版社/メーカー: クラシエホームプロダクツ
- 発売日: 2006/09/25
- メディア: ヘルスケア&ケア用品
- この商品を含むブログ (2件) を見る
お盆に義実家に行ったときもお菓子などいろいろいただきました。いとこやはとこの子と遊んで娘も楽しかったようでした。
娘の夏休みの宿題はたぶんあと一行日記が残ってるかな。ドリルは計算が好きみたいで学童ですぐ終わってたので他が終わってから適当に若干難しそうなの買い足しました。
一行日記用の天気見かけました。
陰山メソッド徹底反復「プレ百ます計算」―百ます計算をはじめる前にとりくむ本! (教育技術MOOK 陰山メソッド)
- 作者: 陰山英男
- 出版社/メーカー: 小学館
- 発売日: 2005/03/01
- メディア: ムック
- 購入: 5人 クリック: 14回
- この商品を含むブログ (7件) を見る
読書感想文書いた本↓
- 作者: 柏葉幸子,高畠純
- 出版社/メーカー: 小峰書店
- 発売日: 2017/04/10
- メディア: 単行本
- この商品を含むブログを見る
しにがみの顔がこわいところがお気に入りというような感想書いてました。
では、見ていただきありがとうございました☆
またそのうちに。
- 作者: はせがわさとみ
- 出版社/メーカー: あかね書房
- 発売日: 2017/10/20
- メディア: 単行本
- この商品を含むブログを見る
釣具セット 釣り竿セット ロッド スピニングリール コンパクトロッド 初心者 コンパクト リール付きロッド 100m ライン付 (5点)
- 出版社/メーカー: xuanchen
- メディア: その他
- この商品を含むブログを見る
- 出版社/メーカー: リブライト
- メディア: おもちゃ&ホビー
- この商品を含むブログを見る
ノーブランド品 カヌー カヤッキング インフレータブル ボート ラフティング ラフト ライフジャケット スイム ベスト 全2色選ぶ - オレンジ
- 出版社/メーカー: ノーブランド品
- メディア: その他
- この商品を含むブログを見る
- 出版社/メーカー: テンヨー
- 発売日: 2017/12/08
- メディア: おもちゃ&ホビー
- この商品を含むブログを見る
MySQL8.0atFBのセミナーに行ってきた
こんにちは。smallpalaceです。
mysql8.0とFacebookの中の人がMySQLどうつかってるか話すセッションのあるセミナに7/5に行ってきましたので備忘録です。
https://eventreg.oracle.com/profile/web/index.cfm?PKwebID=0x560881abcd
ーーー
8で大きく変わったもの
GISをサポートし球面座標で改良されている ユニコードをデフォルトキャラクタセットに、マルチバイトがデフォルトに
目指してるのは大量データを扱うtころ
Jsonデータ型、アプリケーション開発者に柔軟性を。更新性能最適化、関数を追加してSQLに近い操作
新規、データ分析処理の効率向上
共通テーブル式、WITH句一回つくったものを使いまわす Windows関数、ランキング作成などの分析用とで
アプリケーションの性能拡張性向上 アクセス集中時の対応改善 不可視インデックス パフォーマンススキーマ ヒント区によるセッション変数変更
MySQLサーバの性能拡張性向上
セキュリティの強化 SQLロールの実装、 ログファイルの透過的暗号化 バイナリログは開発中
Window関数 国ごとの売り上げ 国ごとのトップセールスマンの売り上げ 1位以外を出すときに手間がなくなる例の紹介が
Jsonデータ型 インサート時に誤りがあったらバリデーションチェックが入ったり JSONとGeneratedColumns ファンクショナルインデックス カラムとして持つことができる 値の実態はもたないメタデータ 仮想カラムにインデックスを付与することができる
属性情報を更新する
JsonTable関数 目指しているのは、リレーショナルとドキュメントデータベース選ばなくてもハイブリッドとしてつかえるように
MySQLShell 使った操作ができるようになりましたと
データベースの操作ご案内
ROLE SHA256 のキャッシュで毎回セキュアな情報を暗号化
InnoDBのRedログUndoログ
コミュニティ版もOpensslをリンクするようになった
マスタが障害にあったときデータを引き継いで昇格したい グループレプリケーションでできる
InnoDBがついてないMySQLクラスタ(NDBCLUSTER) 1年かけて7.6GA シャーディングロードバランシング、高可用性 インメモリデータベースで共有ディスクで分散型シェアードナッシングアーキクチャ サービス停止することなくローリングアップデートなどが可能 リアルタイム性と高可用性 ノード間でデータを持ち合っている
EnterprizeMonitor、Enterprizebackuo
バックアップが43倍、レストアが80倍の速度に。
ClusterManager ダウンタイムの低下、管理性の向上
サポートもあるよと
ーーー
MySQLatFacebook 松信さん
- UDBという巨大なユーザテーブルのはなし
- どういう機能をなぜつくったのか
- MyRocksというストレージエンジンを使ってるがなぜ作ったのか
- 8.0で何に期待してるか について話す
Facebookは大きなMySQLヘビーユーザで現在は5.1から5.6をつかっている オラクルの5.6に対してパッチを当てて使っている パッチは公開していてオラクルさんに取り入れてもらう MySQLそのものでビジネスをしているわけではないので本家に取り入れてもらったほうがいい
次のアップグレードは8.0の予定 8.0に必要なパッチとそうでないものを評価中 今年中ということではないが検証をすすめている
UDBというメインのユーザデータベース FB上での行動自体を保存しているソーシャルグラフ
シャーディングして情報を管理している たいていの場合は大きなレコードキャッシュ(mecachedのようなもの)
遅ければ遅いほどユーザ体験が遅くなる、性能自体を意識してチューニングしている
自動バックアップや自動F/Oなど定型的な作業はすべて自動化している
ストレージフラッシュにすることでスペースを減らしてる
最初はInnoDB圧縮機能をチューニングしてたがあきらめてMyLocksに移行したという流れがある
運用と開発してつかうチームがいていろんな機能を必要として作ってきた
Btreeだと断片化してくがそのオーバヘッドを減らしたい、勝手にデフラグしてスペースを減らしたい
ALTERTABLE deflugとか機能つくって定期実行など20%くらいのスペースの削減ができたが デフラグするぶん書き込みするのでI/O負荷があるがスペースは減った
InnoDB_dowblewrite、電源おちたときにページ壊れたら修復する機能
2回書くことでメインが壊れても修復できるやつ dowblewriteだと4kbのページが16kbになってしまう。ので実際どこが壊れてる可能性があるかをわかるようにする機能をつけて 壊れたやつはすててほかのスレーブから複製するようにした
それがどのくらい信頼できるかは環境のストレージによる
ロジカルリードアヘッド、ハードディスクドライブのやつ
mysqldumpで論理バックアップをつかっている、1日以内にバックアップが取れないことが問題に。 フルテーブルスキャン、主キーがuidだとランダムになりやすい?
プライマリキー、飛び飛びでバックアップデータよんでる、ハードディスク上では遅い
それを防ぐのにロジカルリードアヘッド、フルバックアップなので物理的な順番でスキャンするのを少数のシーケンシャルリードするようにした
非同期のMySQLクライアント、非同期で投げて後で受け取るとか、 上限値を決めて最大20ユーザで
ユーザ毎のデフォルトセッションvariableごとに処理をわける
耐障害性、sync_binlogを0にしてもほかのスレーブからもってくるようになど
バイナリログを圧縮して送ることをしている、スレーブがたくさんあると何回も圧縮することになるが glibじゃなくzstdつかうとかしている
Flush tables with read lock,重いのでなくていけるようにしてるなど
いくつかは本家にバックポートされてる
BinlogServerというのがインフラの中で大きな役割をもってる
バイナリログというのは重要なものでレプリケーションはこれないと動かない
汎用的なbinlogさーばに保存してく、これがないとれぷりけーしょんつくれない
1週間とか2週間とってく、booking.comもこのへん力入れてるらしい
マスタとスレーブ、スレーブはマスタからよむけどなかったらbinlogサーバからよむ
準同期レプリケーション、コミットしたスレーブの応答を待つのに近いところにないといけない、 FBはそれぞれ5つか6つくらいのくらすたがある
が地域がばらけてる、コミットしたとき必ず数百秒かかってしまうので、ビンログサーバをマスタと同じ近所において そこに書かれたら準同期レプリケーションが成立するかんじで遅れないようになんとかしている
binlogサーバはFBの内部のAPIに依存してるのでオープンソース化が難しいがなんとかしたいと言ってるところ
レベルdbというやつをフォークしてMyRocksというストレージエンジンをつくった
読み取りコストは多少あるが書き込み負荷すくなめでスペースがすくないやつ
昨年完成させて移行した。 MySQLはプラガブルストレージエンジンなので、同じ接続方法でつかえてクライアント変えるコストがない
UDBというメインDBをInnoDBからMyRocksつかってる 圧縮効率がInnoDBよりSpace効率がよく半分の使用ですむのでインスタンスまとめたりでサーバ台数が減る
読み取りのコストが データ移行高速化するために いろんなチューニングオプションをオンラインで
MyRocksへの移行で難しかった部分
どっちのデータも正しいかとか 処理がささったりなどのモニタリングしてく
MyRocksはネクストキーロックギャップロックつかえない、ステートメントベースが使えない (binlogフォーマットが)Rowベースでないと、でも前からそうしていた
スレーブいっことめて複製してSQLデータで複製してく
RocksDBライトオプティマイズで書き込み最適化、早いがデータコミットするとRedoログ、めmテーブルがいっぱいになると
コンパクションで最適化されたデータファイルがつくられてく
6段階くらいを経てデータファイルがつくられてく
1倍とだとしても何回もかくので何倍かになる(InnoDBよりはすくない)
InnoDBからダンプするときorderbyprimaryとかあるがそれと同様に主キーソートするようにして時間削減した
重要なデータが抜けてないかデータが正しいか RocksDBは新しいのでチェックがいる
件数が違ったらとかGTIDつかうことで同時に同じGTIDをセレクトして同じかチェックするなど MyRocksバックアップというやつをつくって複製した
マスタにするのはCHANGE MASTERにするだけだがクラッシュしないように auditプラグインで別のとこに投げてデータが壊れないことを検証するなどしてた
発展途上でInnoDBほど完成されてない DBA観点から、ダイレクトI/Oが貧弱でbufferdI/Oがリナックスでは十分でなく カーネルがメモリを割り当てるときにストールすることがあるのでその辺を新しいカーネルで修正したり
誰と誰がという関係性、アソシエーション、タイプごとにカラムファミリーがある
レベルごとに圧縮アルゴリズムを指定できる 読み込みを高速化するなどもレベルごとに処理をかえてる
bufferd-I/OよりODirectがやっぱりいいな、とそちらにむかってる
たくさんのファイルを削除するとそこがささってしまうのでそれを高速にやらないようにしている バイナリログトランザクションログとパーティションわけてる
コアファイルをつくるようにしてたRSSでなくバイナリファイルで、リナックスが何をするか エクステンド、コアファイル生成しないようにした
スパースファイルで圧縮してとかの調査してた 最近はpstacでログにはくようにしようということにしてる
他のデータベースもMyRocksつかっていきたい
FBメッセンジャーはHbaseにしてたが去年MyRocksにおきかえてた LSM、Hbaseのが書き込みが早い 進化についてこれなくなったHbase、なんかMySQLに戻った
フラッシュストレージでうまく動かないというのが最大の理由、 CPU使いすぎるのでデータをのっけられない、Javaのガベージコレクションが生じたときの刺さるやつが目立つようになった
Hbaseをフラッシュストレージに対応させるには原型をとどめない改造が必要だったのでMyRocksにかえることに。 根本的なアーキテクチャの違い、性能効率が大きく上がった
データの一貫性はアイリスというシステムで頑張ってた 2か所に書き込んでチェックなど
ーーー
8.0への期待(FBの) 我々のパッチを移行しつつ取り入れてもらえるように
パフォーマンススキーマがよくなったらしいので既存パッチを捨てられる
オプティマイザの統計情報がよくなってるとこ グループレプリケーションもソリューションとしてスタンダードになってくだろうと
現在足りない機能がある、IPV6のサポート、パクソスのマルチプライマリという1レコードコミットで3往復くらいするのがちょっと冗長。 シングルプライマリで効率よく動くほうがよくコミットが1往復がいい
ライブマスタプロモーション(手動でマスタを別マシンにうつしたい)が、できないとこがまずい (たしかにMHAだとそれできますね) このへんの課題は認識されてるのでそう遠くないうちにサポートされるはず
ーーー
8.0へのアップグレードポイントとパラメータ比較
やまざきさん
こうパラメータかわったのでここ気を付けてねと
いったん5.7最新に上げてから上げたほうがいい
マイナーバージョンでパラメータ追加されたりする
バージョン間の仕様変更に関するやつ
非推奨になった機能なども資料ダウンロードできるので追ってご確認ください
バージョンアップによって互換性が失われる変更などがある
まとめてチェックできるユーティリティがありMySQLシェルのアップグレードチェッカーというもの 修正箇所を一覧でだしてくれるもの
開発ブログでもアップグレードチェッカーつくったよというのがある
システム変数のパラメータ名が変わったやつがある バージョンリファレンスでわかるようになってる一覧がある 差異をかくにんする マニュアルから各パラメータの詳細を確認するとどのバージョンからどう変わったとかかいてある
Setvarヒントについて、オプティマイザヒントというのが少し前に導入されてる SQL文のなかにコメントとしてヒントを埋め込むというのができるように、それの種類が8.0から増えてる このセレクト投げるときにソート用のメモリ領域を一時的に大きくするというのができる それができるかどうかSetverヒントで説明されてる。セッション単位で変更できるものがすべてがヒント書けるわけでもない
5.5~7までのパラメータ比較したエクセルファイルも公開中
参考情報で富田さんのパラメータ比較ツールもあるよと オラクルオフィシャルではないですがと紹介
utf8mb4になったよ、デフォルト照合順序も変わってる ソートしたときのデータの並びの順番が変わると思うので注意してください
バイナリログはデフォルトで出力されるようになった log_slave_updatesもデフォルトで有効になってる
バイナリログも自動削除になった expire_logs_daysが非推奨でそのうち廃止されるので注意 bin_log_expire_log_secondesのデフォルト値は30日相当になってる 両方設定されてるとexpire_log_daysは無視される
リレーログインフォリポジトリとかデフォルトでテーブルになったので注意 マスタインフォリポジトリも。クラッシュセーフスレーブというやつで5.6からあるパラメータ。 合わせてrelay_log_recoveryはtrueにしないとデフォはfalseでクラッシュセーフにならないので注意
認証方式がcaching_sha2_passwrdこれクライアントが対応してないと認証エラーになるので注意
ネイティブパスワードを対応してないクライアントにはつかう
タイムスタンプ型の挙動変更 行更新されたときに自動的にTimestamp型の列に更新日付が入る動作が無効化されてる
SQLモードの変更、SQLの挙動のデフォルト値、NoAutoCreateUser自体が廃止されているので注意 ユーザが存在しない状態でGrant文で権限を与えることができなくなる、つまりGrant文でユーザ作成ができない ダンプファイル入れるときにSQLモード指定してるとエラーになる
Undoログファイル、ibdataとは別管理になるのでundo_001とかが増えてる 自動的にサイズが縮小されるのがデフォルトで有効 128回undoログのパージが呼び出されると縮小する
Xプラグインの有効か、ドキュメントデータベース用のやつ REDOログUNDOログ暗号化追加できるデフォルト値falseで暗号化されない クエリキャッシュは8.0で廃止されてる 関連パラメータは削除されるので今後つかわないように、廃止理由などは開発ブログにあるよ
入門セミナを8.0に対応させて7/23にやります初歩的なインストールとアーキテクチャの解説など
ーーー
そのたのイベント
梶山さんから
7/23のほか 申し込みサイトにそのうち出ますと
8/1水曜、ヨーロッパでのgtprに代表されるセキュリティレギュレーション 8.0セキュリティ新機能
9/14金曜日 ベンチマークにまつわるいろいろ、そのものの性能のはなし InnoDBの開発者の人来日する
セールスコンサルタント、プリセールス人員募集中ですとのこと
ーーー
QA
Q 松信さんにMySQLのマイナーアップデート、8.0どんなことをかんがえてるか
A オラクルが3か月に一回新機能リリース、 バージョン上げるときにレギュレーションチェックして、カバレッジあげて自動的にテストいかにやるか、 そこは力入れてるところ、シャドウシステムというのがありauditプラグインで投げたやつを性能の悪化など検知できるようにしている カバレッジを上げることでバージョン上げる恐怖感をへらしてる
Q UDBというメインDBについてお話いただいて、組織おおきいしその他いろいろあると思うが、役割分担とか管理上の違いは?
A MySQLチームというのがある、アメリカとロンドンで20人くらいあって 機能別でオートメーションとかフェイルオーバーとかバックアップとかごとにわかれてる DBごとにわかれてはない サービスとかでなく自由につかえるとこのほうが問題がおきやすい UDBとメッセンジャが1番目と2番目に大きくてトップ2をかいたというところ
Q G4dでパフォーマンス上きになるところ、メモリのチャネルすくないとか問題なったりしないのか
A ハードウェアチームがいて評価するひともいるしローレベルのエキスパートがいて検証したりする メモリが高いのでメモリを減らす、それを減らすには圧縮、CPU負荷が上がるが顕在化はしてない →FPGAで検証する? →それはビデオとか、デコンプレッションのとこはそんなに50%とかつかってるわけでないのでコストが見合わないかもというはなし gCCでビルドしてたがcLANとかのコンパイラをつかうことでcpu負荷へったりした トリム、lOCKSDBのコンパクション、負荷がたかいときとかぶらないようにしようという 運用としてはファイルをゆっくり消す、60MBずつ消すという設定を追加してそういうふうにしてる
ーーー
誤字あったらマサカリ投げていただいて構いません。 7/23は夜にMyNAあるようです。 MyNA(日本MySQLユーザ会)会 2018年7月 : ATND
では、見ていただきありがとうございました!
GitlabMeetupいってきた20180713金
こんにちは。SNS枠で行ってきたので備忘録です。
GitLab Meetup Tokyo #8: GitLab 11.0 - connpass
ーーーー
11の紹介 大きな変更はAPIv3の完全廃止
ーーー
ああしておけばよかったTips GitlLabGroupの構造編
GUIでやるやつ。プロジェクトいっぱいある人の追加。APIでもできるけど確認がめんどくさい。 グループをアプリケーションなどの大きい単位でつくるのでなく小さいのにわける 将来的にはこういうふうにやりたいと
ShareWithGroup チームを選択して権限を設定してあげれば楽になるかも
マスタブランチにマージ権限ない人がマージできてる事件 インフラの人でアドミン権限があってマージできてた git操作するアカウントと管理するアカウントは分けたほうがよかったかも
IssueTemplateをつかう
/label /cc /asign
まずはアサインをリーダにしといてあとで投げてもらう
アーキテクチャ決定経緯の記録(GitLabにサンプルあり) そのテンプレートとか
ポストモーテム 障害の振り返りなど そのテンプレートが公開されている 実際の対応状況も結構オープンになってて参考になる
Board Group配下の看板をまとめてみれる
手動時間指定で実行
Jenkinsの下位になってsharedrunnerとか使う GitlabGI.yamlで
Anchor 同じようなジョブを無効かするときにつかう機能など
CILintというボタンでコピペしたやつのシンタックスをチェックできる
メンテナンス通知がpush時やログイン時に表示される機能
wikiとかを参照したいとき メンテ時でもwikiを参照することができる機能が。
WebID
DockerExecuterでターミナルからデバッグとかリアルタイムレビューとか
Gitlabの事務手続きから各チームの行動ポリシーまで様々なことが記載されててすごい。
ーーー
Gitlab APIのちょっと変わった使い方 - Google スライド
ジ・アさん
APIのラッパーで操作したい話だった どのプロジェクトに修正を反映するか、Issue、ブランチ、マージリクエスト、をつくる フォーク元に更新が入ったときにフォーク先にMR送るみたいなことみたい。 反省:共通資材はきれいにつくる、開発が進むとカバーできなくなる部分が増える
ーーー
operate_free_gitlab - Speaker Deck
ぐるなびの人
ロゴのインパクトの話 マージリクエストが終わらない(8で改善) システムを複雑にしていた(さいきんはオールインワン) I/Oが思った以上に出ない(NFSにしたらしいがLVMで解消(ファイバーチャネルじゃなかったならそうだろうなと思いました))
バージョンアップ作業の自動化 機能テストの自動化 ELKEFKによるログの可視化 応答遅延・50xエラー検知で再起動 ーーー 質疑
→トリガはJenkinsで動かしてグループ作る枠をつくるとこはAPIでつくる pushやブランチづくりはローカルコマンド IssueやマージリクエストはAPIで実装してる
バージョンアップ毎月?どんなふうに?そのまま更新? →ユーザ数多いといっても夜間は誰も更新しないのでその時間でやっている ロードバランサのしたにぶら下げてるのでアクセスない状態にしてやってる
さいきんのゼロダウンタイム? →ためしてない
ソースでインストールしたやつからオムニにかえたときどうした? →まず、7.3、ソースと同じのパッケージをバックアップをほかのサーバにレストア バージョン統一してから、コンバートしたりきざんで上げて行ったりしていた
LB配下で冗長化、アクティブ・アクティブ? →アクティブスタンバイです
資料のなかでIssueでアーキテクチャの意思決定までしてる? あえてwikiよりissueがべんりだったとか? →アーキテクチャの意思決定はトライアンドエラー じっさいプロジェクトをみればwikiとissueをみればアーキテクチャなんとなくわかるよってのがいい 公式のグループとかタグの数とかがすごくてどうやってんのかわたしもきになる
ーーー
ということで備忘録でした。
見ていただいてありがとうございました⭐️ またそのうちに。
GWと5月のできごとなど2018
こんにちは。smallpalaceです。
あれ、もう6月だいぶすぎてた。まあGWと5月の備忘録などを。
- ホビーショー
ワークショップしまくりでたのしかったです。ステンドグラスととんぼ玉が最近気になっています。
- 作者: 小暮紀一
- 出版社/メーカー: ほるぷ出版
- 発売日: 2006/08
- メディア: 大型本
- クリック: 10回
- この商品を含むブログ (7件) を見る
- BBQ
楽しかったです。
キャプテンスタッグ(CAPTAIN STAG) ウエストホーロー食器セット 【皿・ボウル・マグカップ各4個セット/ケース付】 M-1078
- 出版社/メーカー: キャプテンスタッグ(CAPTAIN STAG)
- メディア: スポーツ用品
- 購入: 1人 クリック: 1回
- この商品を含むブログを見る
- バラとガーデニングショー
私の母と娘と行きました。夫は俺が居ても邪魔だろうと遠慮してたのでたぶん家でゲームか自転車外こもりか寝だめか何かしてたんじゃないでしょうか。
フラワーアレンジメントショーでは講師の先生がケンカした時は奥さんに花束をプレゼントして仲なおりを推奨しており、確かにこんなとこまで来る奥さんには効果絶大であろうと思いました。
【フラワーファーム】 季節の花束・デラックス-12ヶ月定期便- 【花 ギフト・宅配・誕生日・プレゼント・翌日】
- 出版社/メーカー: Flowerfarm(フラワーファーム)
- メディア:
- この商品を含むブログを見る
夢のように美しかったので母とそれぞれ新苗買ってしまいました。
- 出版社/メーカー: プロトリーフ
- メディア: Tools & Hardware
- クリック: 4回
- この商品を含むブログを見る
- 手芸
ザ・ワンピースkidsのフリルスリーブブラウスの型紙で作りました。 他にも真四角の布の中央を丸く切ってウエストにしたスカートなど作ったけど写真撮ってないですね。ザ・ワンピース2からフレアスリーブぺプラムブラウスも作ったけど洗ったら縮んでしまったのでこども用にそのうちリメイクしようかな。ただ著者の身長のアレなのかノッポなわたしには胴の丈が足りない感じにどうしてもなるなあと思いました。
ザ・ワンピース for KIDS 篠原ともえのソーイングBOOK
- 作者: 篠原ともえ
- 出版社/メーカー: 文化出版局
- 発売日: 2018/02/23
- メディア: 単行本(ソフトカバー)
- この商品を含むブログを見る
- 作者: 篠原ともえ
- 出版社/メーカー: 文化出版局
- 発売日: 2017/03/10
- メディア: 単行本(ソフトカバー)
- この商品を含むブログを見る
- 学校公開日と家庭訪問
授業を眺めたり校庭で探し物レクリエーションしたりなど。ツルツルの葉っぱやいい匂い綺麗な色の花とか。
家庭訪問はまあ掃除がめんどくさかったです。それでも雑然としてる感が隠しようもなかったかな。掃除をするのが大体私だからなぁ。あと冬に布を買い込んで縫えていないのがかさばってたり。自作ミシン糸棚に言及あって仕事がそういう関係なのか聞かれたので素直になんの関係もなくて作った服で夢の国で可愛い格好さすことなどなどを説明したところ怪訝な顔をされました。
学校での娘は、元気で明るい、大きい集団に慣れてないからちょっとズカズカ行って引かれてる時がある、一部の男子と小競り合いがあるが注意すると聞く、授業はよく答えて学力問題ないけど集中力がちょっとなくて遊んじゃう、なんか妙に物知り、野菜と卵がきらいだけど最初よりは食べるようになってきた、というのを先生に言われました。あと英語は3年生で半年に一回かららしいと聞きました。まあ本人は楽しんでいるようでなにより。親はちょっとプリントと宿題チェックが多いことに微々たる事務処理能力が限界を迎え気味だけど慣れの問題でしょうか。
ハッピープライスセレクション ドラえいご のび太と妖精のふしぎコレクション - 3DS
- 出版社/メーカー: 小学館
- 発売日: 2016/03/17
- メディア: Video Game
- この商品を含むブログを見る
- 作者: 白仁成昭,中村真男,宮次男
- 出版社/メーカー: 風濤社
- 発売日: 1980/08/31
- メディア: 大型本
- 購入: 19人 クリック: 148回
- この商品を含むブログ (44件) を見る
- 運動
近所の公園を走ってたけど最近途切れている。。スポーツブラはワコールのやつがいいなと思いました。
(シーダブリューエックス)CW-X スポーツブラ 5方向サポート メッシュ素材 吸汗速乾 HTY138 BL L EF [レディース]
- 出版社/メーカー: CW-X
- 発売日: 2015/02/11
- メディア: ウェア&シューズ
- この商品を含むブログを見る
- 大江戸温泉
娘と2人で行ってきました。某ゲームとコラボってたので夫は置いていきました。広くて面白かったです。
- 出版社/メーカー: アース製薬
- 発売日: 2002/11/05
- メディア: ヘルスケア&ケア用品
- 購入: 5人 クリック: 34回
- この商品を含むブログ (4件) を見る
では見ていただきありがとうございました。またそのうちに(*´∀`)♪
夫婦道 がんばらない幸せ -夫婦関係改善マニュアル 夫編&妻編- (SIBAA BOOKS)
- 作者: ザビエル
- 出版社/メーカー: 青山ライフ出版
- 発売日: 2017/09/07
- メディア: 単行本(ソフトカバー)
- この商品を含むブログを見る
MySQL8.0のイベントにいってきた201805
こんにちは。smallpalaceです。
MySQLが8.0GAになったということで「Oracle MySQL Innovation Day Tokyo」というイベントが開催され行ってきましたのでいまさらですが備忘録書いときます。
https://eventreg.oracle.com/profile/web/index.cfm?PKwebID=0x551742abcd
個人的に気になったのは、グループレプリケーションと文字コードの照合順序とRoleと外部認証連携あたりでした。
ほかのブログとまとめなど
MySQL Innovation Day Tokyoのハッシュタグまとめ - Togetter
Oracle MySQL Innovation Day 2018 Tokyo(5/23) - 構築中。
★mysql8.0最新情報(稲垣さん)
5.7 InnoDB Cluster 8.0
特徴、モバイルファスト
当初PCメインだったが最近はモバイルがおおい
絵文字とか文字コード
GIS空間図形情報サポートの強化
Unicodeをデフォルトに
DeveloperFirst
SQLだけではなくスキーマレスのJson型サポート(改良で生まれ変わった
DataDriven
副問い合わせやサブクエリをWith句で呼び出せる
ランキング処理
共通テーブル式、Window関数
24365
アクセス集中時の対応改善
不可視インデックス(ワークベンチで使ってないインデックス出せる
一時的に不可視にできて影響なければ消すとか段階分けられる
パフォーマンススキーマ(オンにしても負荷大丈夫で最適な情報がとれる
オプティマイズ
性能向上
InnDB専用サーバ構成(InnoDBバッファプールサイズを自動設定(動的に) クラウドフレンドリーな設定永続化(mycnfにかかなくても設定を永続的にする
S1 documentStore S2 HA S3 非同期レプリケーション・自動フェイルおーば S4 シャーディング
MySQL Shell 開発と管理のための5.7からのインタフェース javascript,pytbnon,sqlでスクリプト利用可能 スタンダードプロトコルとエクストラ 午後のセッションでくわしく
Jsonサポート ネイティブファイルサポート 仮想列、20以上の関数など
GraalVM 開発言語を踏襲して役立てるVM
UTF-8 絵文字入力、 デフォルトをutf8mb4に変更 最新のユニコード9.0サポート 解析をマルチバイトにしただけでクエリが40倍の速度に。。
Window関数のRANKでランキングもとめたりなど
Select ..For UPDATE NOWAITつけることで行がすでにロックされていればすぐエラーを返す SKIP LOCKEDで行がすでにロックされていればあきらめてスキップする
オプティマイザ
Luさん
CTEの再帰的な処理(With句)ループ制限のデフォルト値が1000になってる
オプティマイザがInmemoryかDiskBoundかを知ってから計画するので効率的になった
Json関数は毎回テーブル生成するのか→select intoで保存できる
大きいJsonドキュメント→8.0から変更部分のみの更新が可能
ヒストグラムのサンプリングで統計情報→サンプリングの比率を調整できる 次の走ってる開発としてストレージエンジン側でスキャン減らしてサンプリングがある
8.0Securty
Ldapとロールの需要がありそうかもと思いました。
—
スクエニの人の事例(ツイートとブログ書くのと撮影禁止
とみたさん(MyNAの創設者)
utf8のワーニング、utf8mb3のエイリアスだけどutf8mb4にかわるからきをつけろと
MySQL Shell
パラメータ比較表がGitにあるよ https://tmtm.github.io/mysql-params/
RC版とGA版だいぶちがう
照合順序 defaultだとアクセントの違い、大文字小文字など区別しない ja_0900_as_ks カタカナひらがなも区別するがソート順がJISコード順とのこと。日本語辞書順 utf8mb4_0900_as_csが無難
適切なcollationをつかおう
https://tmtm.github.io/mysql-innovation-tokyo/#/
yoku0825さん(ORACLE ACEのMySQLについてつぶやくとすかさずリプライをくれるお方)
default_password_lifetimeはなおってる
地雷の埋まり具合は5.7の比じゃないと思う
bug90526 パラメータでリリースビルドがおちるやつ リリースビルドなのにドキュメントにないサーバ変数がみえて設定するとあっさりクラッシュ
パラレルログライトとかあのへんドキュメント記載がろくにない(結構いじってるはずなので地雷が多いのでは
auto_incrementのプライマリキーがあるところに Q4mに頼ってたものがつるしのMySQLで実現可能に。
資料の公開はされたもよう。
けっこうつぶやいても https://twitter.com/search?f=tweets&vertical=default&q=#mysql_jp&src=tyah
RealtimeAnalitics
Nipun さん
資料公開なし
OLACLE LABSででくる
フィーチャーのコミットはできないのをご承知おきください
マシンラーニングについて取り組んでいる パートナーシップの視点から
リサーチから In-MemoryAnalitics スケールアップ、スケールアウト適切な構成を考えた ハイブリッド型でいこうと ストラテジ3つの柱、どの構成が向いてるか特定をする クエリのパフォーマンスをシングルノードあたりで効率的にさばけなければならない シングルクエリを分散させたら
MySQL側から検索されたものをRAPID側で解析してMySQLに返す構造
個人で組むのはNW回線が大変というのと、RedShiftみたいなものというツイートが。
リレーショナルデータベース 正規化・制約 原始性、一貫性、独立性、永続性 ACID トランザクション SQL
ドキュメントストア スキーマレス スキーマ設計、正規化、外部キーやデータ型なし 初期開発を早く始めるのに適している
ほとんどの場合プログラムを書いてるときアプリのライフサイクルのせいでこんな情報も要れないといけないとかでてくる ドキュメントの場合この変更は追加するだけ 配列も埋め込み型のものがある リレーショナルに表せない場合の最適解 ORMを使用しないという選択肢もある、複雑なレイアウトをきにしなくていい ORMはDBAには悪夢、リザルトがないものも JSONはフロントエンドに近いしJSネイティブ
SQLもNoSQLも安定して供給できるような。。 なぜどちらかを選ばなければならないのか両方つかえればいいのでは それでできたもの、MySQL DocumentStore ここではSQLはオプションとなる
トランザクションはつかえるがすべてでつかえるわけでない スクリプティングのツールなどは使える メンテナンスなど同じ方法でできる X DevAPIをつかう(コネクタが必要、C;;,Java,.Net,Nodejs,python,php) ドキュメントは1gbまでサポートできる max_allowed_packetの制限による リレーショナルテーブルも混在させることができる MySQLShellからつなげられる
MongoDBからMySQLへサンプルレストランコレクションを使ってみる
DocumentIDがプライマリキーにあたる。なければ後からつけられる
Replication Luisさん(ディレクターのかた
・概要と進化 ・利用例
・技術アップデート
バイナリログ、メタデータ、ほかシステムとの連携をより簡単に 運用 マルチソースレプリケーションが5.7で追加された 高度なワークフローをできるように、統合などで複雑なクエリをやりやすく 8.0でチャネルごとにフィルタを入れるなどをソースにもとづいてすることができるように グループレプリケーション クラスタからはずれたレプリカへの変更反映回避、自動的に参照専用になる プライマリ選択の重みづけによってF/O時にマスタ昇格の選択基準にできる いままでランダムだった
5.7で導入されてたものが80でさらに多くのオプションが増えてる フローコントロール 監視 遅延の監視をマイクロ秒単位の精度で。 非同期レプリケーションの構成全体を通じての監視 グループ全体のステータスをすべてのサーバにきける 亜プライヤーの処理性能効率向上(WriteSetの並列処理を導入 高速なグループレプリケーションのリカバリ(WriteSetを用いてレプリカが素早くオンラインに)
・バックポート
5.7.20に以下がバックポート クラスタからはずれたqレプリカへの変更反映回避、自動的に参照専用になる プライマリ選択の重みづけによってF/O時にマスタ昇格の選択基準にできる いままでランダムだった
・検証中の新機能
xcomというパクソスのようなもの
・ロードマップ
グループレプリケーションについてはまだまだやらなければならないことがある
・まとめ
http://mysqlhighavailability.com
http://dev.mysql.com/doc/refman/8.0/en/
InnoDB Cluster fred
100% available
高可用性と拡張性を兼ね備えた単一製品、使いやすい統合ソリューションを提供
アプリからRouterにつながる 簡単なのはRouterをAPPにのせとくこと 中心機能は、Router,Shell、GroupReplication。 GroupReplicationはただのプラグイン。インストールするとシステム上に存在するもの GRはReplicatedDatabaseStateMachine理論を実装している グループのすべてのメンバが同時に書き込みが可能で一貫性を保ちながら。 競合の検出と解決を実装しています(非同期の場合はない) 競合のかいけつには最初のコミットが勝つ GRは自動的な分散回復を可能にします(手動でなにかするひつようがない) すべてのMySQLプラットフォームをサーポートしている Linux,Win、Solaris,OSX,FreeBSD
GR MySQL Xcomプロトコルをベースにしてる Paxosベースのプロトコル 役割は分散システム全体にメッセージを配信する アトミック(原始的に)配信する 全体の順序を考慮して ユーザのメリット マニュアルでのF/Oが不要になる、手動、複雑なスクリプトで処理する必要がなくなる GRは耐障害性を提供 ノードが最低3つ必要 GRはどのノードでも更新可能(マルチマスタモードなら) 自動的にクラッシュ、失敗、再接続を処理 簡単に高可用性サービスセットアップ可能に デフォルトでは「シングルプライマリモード」で動作する すべてのサーバに書くと制限ができる、クエリツールでワークロードを知ることもできるが 競合で多くのトランザクションがフォールバック、フォーリンキーで問題がおきるなど制約ができる まずはこちらでテストしてね 多くの行を書く場合にはシングルノードに書くほうがいいことも group_replication_single_primary_mode、これを変える場合はクラスタの再起動がいる
MySQL Router アプリとバックエンド間のトランスポートとして機能する、クラスタからみるとシングルインスタンスにみえる クラスタが非同期スレーブ、非同期マスタとして機能するということができる
特に設定を必要とせずClusterのメタデータを使用して自動的に設定する 常に最新利用推奨、クライアント証明書サポート ブートストラップどのノードでも可
ProxySQL Routerでカバーできない機能を使いたい場合
MySQLShell 管理クラスたにつなげる。adminAPIつかえる
set persistsがすばらしい。ここでmy.cnfを変えずに設定ができる クラウドフレンドリー
これはHAソリューションというとこが重要
デモ
GroupReplicationはGTID必須 RestertもShellからできる 修正がされたらコンフィグチェックできる
GTID,データの差分をみて差分がある場合joinできない
nodeが2つのときクラッシュするとquorumが50%以上にならないのでクラスタが止まる 故にクラスタには3つのノードが要る
落ちたらリカバリをすることもできる
MySQLのサービスでHAがないといういいわけはもうきかないよと
Q MySQLRouter自身の冗長化について A Routerの配置の仕方として単独サーバならkeepalivedなどと連携、おすすめはAppサーバに乗せる冗長化考えない方法 Q ASYNCと多段レプリケーションはできる? A トランザクションをいかに同期するかというやつなのでASYNCはできる、カスケードも可能 データセンタをまたいだDR構成する場合、地域ごとにGRクラスタおいといてその間を非同期でつなげることも可能
Q 8.0の地雷についておすすめど A GAになる前から本番利用者がいます、テストにかける工数が飛躍的に多くなってるのでまえよりも安定しているはず CTE(WITH句)の機能がどうしても使いたいというお客様がいてさすがにボリューム大きくてバックポートできずスレーブで8.0でつかってる 会社も(FBとBooking.com)
Q router、APサーバに置くとライセンス料が変わるとかでこれを回避する方法はないですかと A コミュニティ版でてます。→機能としてはRouterだけコミュニティ版でも動きます
Q TDEをつかってテーブル作ったときオプティマイザヒストグラムも暗号化されるのか A TDEはテーブルスペースのなかを暗号化するのでヒストグラムがあるのはデータディクショナリなので現時点では暗号化されない がちかいうちに暗号化されるよてい いま表領域、Redo、Undoはできてる、年内にはデータディクショナリも。
Q チェック制約について A シンタックス的にはサポートされてないんでエラーになるのでは、短期的なロードマップに入ってる
Q データタイプのタイムスタンプが2038年なのをもっと長くできないのか A 我々も認識している重要なもんだい、日時に関する改良はロードマップに入ってる MySQLのリリースモデルは継続的リリースモデルということにしている。 機能追加はいつでもあるよと。
Q オプティマイザについて、コンディションファンなうとフィルタ実行計画の関係で帰ってこなくなったクエリがあったのでオフにしたが それだと機能つかえないのか A ご指摘パラメータは5.7で性能劣化を我々も確認してる。8.0でヒスとグラム有効にしていただくとデータが入るのでオプティマイザが判断 できるので、フィルタ有効にすると性能が伸びるはず
Q 分散システムに配信してるパクソスベースのプロトコル、マスタで行われた合意をすべて配信してるのか
A すべてのReplicationされるべきすべてのサーバ間でされる必要がある、性能に関して一括処理されるようなこともある
多い行、少ない行の、最初が勝つ問題について? →片方のトランザクションが多い、少ない、であっても2つのトランザクションが競合しない場合は束ねて順に行われる 競合する場合は後ろがロールバックされる
小さいトランザクション推奨? →yes マルチマスタならそうだがシングルマスタならまあ気にしなくても大丈夫
さすがに丸一日だとボリューミーでした。年末まで定期的にイベントがあるようでMHA作者の元サポートエンジニアのFaceBookにいる松信さんが登壇されるやつも予定してるとのことでした。
Tシャツもらいました。娘にとられてパジャマになりました。
では見ていただいてありがというございました。またの機会に。