※注意 この記事はembulk-output-bigquery v0.2.x以前に基づいて書かれています。 v0.3.0で大幅な変更が加わっているためv0.2.xで使っていたconfig.ymlはそのままでは使えません。 主な変更点は * JavaプラグインからJRubyベースのプラグインに変わりました。それまでよりpull-requestは送りやすくなったと思うので早く送るん(ry * fo...

続きを見る

最近embulk-input-gcs、embulk-output-bigqueryというEmbulkのプラグインを作ったんですが、Embulk本体のコードよりGoogleのAPI/Google APIs Client Library for Javaの利用でハマりました。 AWSのようにSDK落としてくればサクッと開発できると思ってたんですがそんなに甘くなかった。。 GCP(Google Cl...

続きを見る

並列データ転送ツールEmbulkのプラグインであるembulk-input-gcsを作りました。 EmbulkのインプットソースとしてGoogle Cloud Storage(GCS)上のバケット/ファイルを指定できるものです。 embulk-output-gcsの方が断然需要が高いと思いますが、自分はembulk-output-bigqueryを作っている最中にいろんな場所から同じデータでテス...

続きを見る

embulk-input-gcsというGoogle Cloud Platform(以下GCP)のGoogle Cloud Storage(以下GCS)からデータをバルクインポートできるEmbulkのプラグインを書いたんですが、GCSのAPIを利用するために必要な手順になります。 APIを利用するために必要な情報 GCPはアカウントの種類が複数あり、認証方法もOAuth2.0等複数の認証方法が存...

続きを見る

7月23日にニフティさん主催で開催された 「ニフティクラウド meet-up!」 ~スピーディな DevOps 実現のために。Chef の活用事例と CloudAutomation ~というセミナーでChefについて発表してきました(当日開催レポート)。   その時のスライドになります。   クラウド上でのChef活用と ベストプラクティス from N...

続きを見る

Vagrantが普通に使われるようになってきましたが、皆さん活用してますか? 知っている方も多いと思うんですが、Vagrantは1.1以降からAWSやRackspace等のIaaSもproviderを追加する形で接続可能となっています。 vagrant up --provider=hogeとすることでサーバの立ち上げやprovisioningの実行が行えるというものです。   海...

続きを見る

MySQL Clusterを使ってみた

このエントリーをはてなブックマークに追加

2013/04/07(日)

MySQL Clusterの検証をする機会があったのでメモ。   通常のMySQLサーバを運用する場合、Masterサーバ×1+Slaveサーバ×nな構成とし、Master→Slaveへレプリケーションを行いつつ、更新系のクエリはMasterに投げ、参照はSlaveサーバのいずれかへ行うことで負荷分散を行っていると思います。   しかしこの構成の場合、ソ...

続きを見る

本日、2012年12月8日に開催されたRejectTokyoRubyKaigi10で「Jenkins×JMeterで負荷テスト自動化」というタイトルで発表してきました。スタッフの皆様、会場提供してくださったドリコム様、ありがとうございました。 発表資料 JenkinsとjMeterで負荷テストの自動化 from oreradio スライド中に出てくるJenkinsプラグインのスク...

続きを見る

最近サーバセットアップツールのChefを使う機会があったのでメモ。 この手のツールでは今まではPuppetがよく使われていたと思いますが、最近Chefの名前をよく聞くようになりました。 Python界隈だとFabricも聞きます。実際社内でPython使ったプロダクトはあるのでFabricを使ったセットアップスクリプトを使う機会もありますが、個人的にはFabricは記述が自由すぎて管理しに...

続きを見る

2012年12月1〜2日に東京お台場の日本科学未来館で開催されたMaker Faire Tokyo 2012に出展してきました。 ブースに立ち寄っていただいた方、どうもありがとうございました。 会場で配った名刺。O'Reillyの表紙っぽくしてみました。   「Makeらしい」見せ方が上手な展示が多い中、受信が成功していないために地味なガチ展示となってしまいま...

続きを見る

ページの先頭へ