道玄坂LT祭り20150114にいってきた
こんにちは。タイトル通りいってきたので備忘録をば。
まとめ: http://togetter.com/li/770055
前半のブログ: http://komeiy.blogspot.jp/2015/01/lt.html?m=1
まず何気なく入り口付近に座ったところとなりに未就学児童を膝に抱えたとうちゃんっぽい人いてすごいびっくりした。おとなしくてスゲーいい子でした。うちのだったらたぶんもっと叫んだり歌ったり走り回ったりぐずったりするに違いないな。
Auroraききたかったけど遅刻で聞けなかった。残念。
------
いわおさん（RHELの中の人）の発表からききました。
http://www.slideshare.net/Yuryu/rhel-centos-7
kernel本がジュンク堂に置かれることになったそうです。
RHELのバージョンアップしようよというお話。新機能のスキップの回避策がｗ firewalldとかdisableにしちゃいなYo的な。
大量のupdateされたパッケージ群をコンテナにいれようずという話に。バージョンアップしやすいものから順番にと。Linuxのkernelは古いものと互換性があるので大丈夫だそう。
７でうれしいこと。
・早くなってる、電力マネージメント、TCP最適化、bonding強化、NUMA対応強化、40GbE対応、Docker対応、などの日々うれしい系の恩恵が。
取捨選択して使いたい機能を使いましょうと。勉強になります。
---------
ここでビールの配給が。太っ腹。
私は酒飲むと酒に瞬殺されて勉強会どころでなくなる^^;ので飲みませんでしたがみなさん楽しそうでした。
---------------------------------
緑の会社の新人のもてきさん
新規サービスについて効率よくしたいとかの話
テンプレでいろいろするAWSのCloudFormationの話だそうです
ボタン（シェル）ひとつでインフラ生成・破棄するよと。
Jsonテンプレートをシェルに仕込んだりJenkinsにかましていろいろ自動生成してた
失敗経験について、共用環境を Jenkinsで生成削除してみた話
作業後インスタンス破棄でお金節約と。
エンジニアにめんどくさがられたらしい。cronに仕込んで対策してみた。
サーバのデータを引き継げなかった→データをS3へ退避させた。事情があるやつはAMIを取得してやってみた。
本番環境をBlueGreenDeployしてみた。動いてる環境をさしかえるやつ。
やってみたら通信遅延が発生した。ELBのヘルスチェックの解決のための遅延が発生してしまった。Route53でweightをもたせて段階的に切り替えた。
CloudFormationつかってみて、ELBとEC2生成には３～５分かかった、テンプレートJsonで大変だった、DRYに記述できない、ドライランできないコメントかけないなどいろいろあるがテンプレート書いてしまえば一発でできる。
----------------------------
CloudStackユーザ会元会長、現OpenStackエバンジェリストでRHELの中の人のMayumiK0さん。
CloudStackの関係者からは裏切り者扱いだそうですが嫌いになったわけではないそうです。
みんなが思うクラウドって？クラウドに求められるものは？というおはなしから。
けっこうニーズが漠然としてることが多いそうで。まあそういう顧客もいそう。個人的には幸運にもあんま見かけないけど。
OpenStackVsCloudStack？
安定性はCloudStack、選択し(ディストリビューション)、CloudStackは選択しが一つだけ。
サーバの仮想化orコンテナーについて
OpenStackは仮想化、Dockerはコンテナ。
今後は仮想マシン＋コンテナーみたいなまざる感じになっていくのではと。
AtomicProjectというコンテナベースのアプリケーションをデプロイするために最適な環境を提供するものがあるそうです。AmazonEC2でFedora21CloudAtomicを動かしてみたデモが。Atomicおもしろいけどまだ本番環境で非推奨だそう。CentOS7でつかえるようです。
------------------------------
AWSの今井さんによるDatomicのお話
Datomicは商用の分散データベースだそうです。
アーキテクチャは3種あって、
Peers、スレーブっぽいもの、Readを提供するコンポーネント。プロセスでもスレッドでもなくJVMの中で動くオブジェクトらしい。キャッシュがなければストレージに聞きに行くそう。
Transactors、Writeを提供するコンポーネント、マスタっぽいもの。Writeはスケールしづらいらしい。実際のデータストアはDynamoDBとかCassandraとかRiak、などなどをブロックストレージとしてつかうみたいな。先にPeerにIndex更新してからストレージに書きに行くらしい。
クエリに対してUDF的なものを渡して動作させられるのが売りらしい。
シャーでぃんぐめんどいNoSQLだとアプリ側で頑張らないといけない、メモリもディスクも安くなったしクラウドネイティブなDatabaseをつくろうという話でできたらしい。
QueryはSQLじゃなくて独自のものらしい。重い処理がほかに影響しにくい作りになってるらしい。
不動産の検索サイトみたいな検索クエリが重そうなサイトとかにいいかも。
広告配信とかでもデータ更新が5分に1回みたいなバッチ更新タイプなアプリにもいいかも、だそうです。
---------------------------
すずきとしひろさん、HBase徹底入門という本(1/28発売予定)を書いたそうです。
http://www.amazon.co.jp/dp/4798138827
HBaseとはという話から。
RDBに似ててTableという概念があるRawKeyが主キーににたもの、など、でも結構ちがってるのが、各セルが古いデータを持つことが可能。カラムファミリーは事前に定義する必要があるが、カラムは後から動的に追加可能。
マスタ型のデータベースでP2P側。MasterとRegionServerという二つのコンポーネントがある
HDFS上で動作する、HDFSは３つのレプリカを持つので信頼性をそこに依存してる
Regionごとに自動シャーでぃんぐしてるらしい
Regionの自動分割というのがあり、一定の閾値を超えると分割されていき同じくらいのサイズのRegionができていく。Regionのバランシングも自動で移動されてくなど。
高可用性（自動フェイルオーバ）
Masterをホットスタンバイをたてることが可能
クライアントと直接やりとりしてないので落ちてもあまり影響がない
RegionServerが落ちた時も自動でフェイルオーバ可能
書き込みが非常に高速であるという特徴がある
HDFS上のWALに書き込む（ディスクにシーケンシャル）
メモリ上のMemStoreに書き込む
MemStoreのFlushは一定の閾値をこえたらHDFSにFlushされる
読み込みは多少遅いが工夫をしている、ブロックキャッシュとブルームフィルタなど
Compaction、、省略
続きは書籍で！ｗ 予約注文可能だそうです。
------------------------
日本HPの古賀さん
OpenStackの取り組みのお話。
ProLiantSL4540とかをクラウド基盤ストレージにみたいな。
Packstack（Juno）OnCentOS7、とかの検証など
HAクラスタするときntpないと挙動不審になったりする。まあそうだろうなあ。
Hadoop分散ストレージ最前線とかの話。
HDFSが少なくてYARNが多いとかアメリカのほうではいろいろあるらしい。
スーパーコンピュータ最前線、高速処理＋環境の時代へ、、だそうで。
GREEN500とかでサーバと環境の性能を合わせて評価するみたいな。水冷スパコンのお写真が。GreenByITとかいって建物とか雪とかす装置とかの不動産から設計しちゃうらしい。混在クラウド環境をまとめるポータルの話など。
スパコンでは今MESOSというのが流行ってるらしい。HadoopジョブやHPCクラスターのMPIジョブのリソーススケジューリングですって。。
省電力最前線、HPMoonShotとかちっさい物理サーバつかってるお客様もいるそうです。
めっちゃ早口だった。
----------------------
片岡さん、シロクの人。オフィスには炊飯器があるそうです。
my365というアプリつくってたそうです。
Lightning-fastな話、
Apache-Sparkのはなし、分散処理エンジン。
汎用で、SQL、ストリームなどの処理が可能で、データソースとしてDynamoとかcassandraとかpostgreそのたいろいろ使える
APIはJavatoScaraとPythonなど、Hadoopより100倍速いらしい。汎用で高速ということで。
なぜHadoopより100倍はやいのか、処理の反復がなくオンメモリだから高速らしい。
実際ためしてみた。spark-shellからSpark、MeSOS、EC2という構成でやってみたそうです。
エンジニア募集してるそうです。
------------------------------
fluentd設定行数とシステム複雑性のカジュアルな話
すずけんさん@suzu_v
VOYAGEのアドテクの仕事をしているそうです。
fluentdの設定行数は今3000行くらいらしい。
chefでやってるしそんなに複雑でもないし数えたことなかったなあ。
copyしまくると行数が増えるとかタグとかいろいろしてると増えるとか
ElasticSearchへの書き込むがつまり始める
Norikra使い始めたみたいなとかログの種類がいろいろ増えた
S3のログをfluentdから読もうとしたりしてやっぱりやめた
fluentdのバッファの監視でElasticSearchで詰まってた話
川越して宿をとれ、fluentdのつまり解消はElasticSearchのボトルネック解消から。
fluentdなんでもできるけど何でもするのはやめようと。
バッファ詰まる運用は本当にやめたほうがいいよと。
---------------------------
ここでくわのさんが寝ていて生暖かい笑いが起こるなど。
--------------------------
性風俗業界を支えるITインフラ
LTタイトルｗ。。
なぎーさん、もとはNWエンジニアだそうです。
Webサービスの受託のお客様のはなし
ITの調達がアダルト系だと困難。法令順守徹底してるがアダルトってだけで非常に困難。
インターネット回線もNGってことが多い。各種サービスの契約、MSP探してたけどアダルトってだけで断られたりなど。
派遣SEの確保も困難。資本金1000万以下の会社もNGとか、D〇〇さんとかどうやってるのかなという疑問ｗ
ちなみにクラウドの最大手のA社さんは法令順守してればOKだそうです。
真面目なはなしとしてはDDoS対策とかメール不達対策(某携帯キャリアが特定のトップレベルドメインをはじいていた)とかWISA(WindowsIIS,SQLサーバとか、、)の監視など。
宣伝、CTCの教育サービスサイトでコラムをかいてるそうです。そうそうたるメンバーのコラムだそうです。
RHELの中井さんとクラウドパックさんとか大物ばっかりだそうで。
http://www.school.ctc-g.co.jp/columns/
--------------------------------------------------
CAのくわのさん登場
モンゴリアン桑野参上、というLtタイトルｗ
http://www.slideshare.net/akuwano/wiredtiger
だいぶ酔ってるそうです。
MongoDBのストレージエンジンの話だそうです。
2.8からプラがブルになっていろいろ使えるらしい。WiredTigerの話をしたいらしい。
WiredTiger、低レイテンシ高スループット、PBサイズ対応とかいろいろ夢いっぱい。
ほんとかよ、とためしてみた
使い方、設定ファイル・engin:で設定、
実行環境、c4.xlarge、負荷サーバはc4.2xlarge、c4つかいたかった。
処理時間、MMAPv1よりパフォーマンス的には3割増だった。
MMAPはマルチコアつかってるの？みたいなかんじだった。
WiredTigerはだいぶつかえてた。
データ容量も半分になっててなおかつパフォーマンスがいい。
メモリいくつつかってんのかわかんない問題、メモリあるだけつかう問題、
MMAPｖ１、7gbのサーバで46gbつかうみたいなのだったけど、WiredTigerは600mbみたいなうれしさが。でも設定項目大杉。柔軟性もあってチューニング余地がある。
すごくいい。でもDeadLockとか怖そうなバグがいっぱいあるっぽいのでちょっと待とうかというところだそうです。
----------------------
ということで終了。おもしろかったです。勉強になりました。
ありがとうございました。
でわまたの機会に。読んでいただいてありがとうございました。
