※注意 この記事はembulk-output-bigquery v0.2.x以前に基づいて書かれています。 v0.3.0で大幅な変更が加わっているためv0.2.xで使っていたconfig.ymlはそのままでは使えません。 主な変更点は * JavaプラグインからJRubyベースのプラグインに変わりました。それまでよりpull-requestは送りやすくなったと思うので早く送るん(ry * fo...

続きを見る

最近embulk-input-gcs、embulk-output-bigqueryというEmbulkのプラグインを作ったんですが、Embulk本体のコードよりGoogleのAPI/Google APIs Client Library for Javaの利用でハマりました。 AWSのようにSDK落としてくればサクッと開発できると思ってたんですがそんなに甘くなかった。。 GCP(Google Cl...

続きを見る

並列データ転送ツールEmbulkのプラグインであるembulk-input-gcsを作りました。 EmbulkのインプットソースとしてGoogle Cloud Storage(GCS)上のバケット/ファイルを指定できるものです。 embulk-output-gcsの方が断然需要が高いと思いますが、自分はembulk-output-bigqueryを作っている最中にいろんな場所から同じデータでテス...

続きを見る

embulk-input-gcsというGoogle Cloud Platform(以下GCP)のGoogle Cloud Storage(以下GCS)からデータをバルクインポートできるEmbulkのプラグインを書いたんですが、GCSのAPIを利用するために必要な手順になります。 APIを利用するために必要な情報 GCPはアカウントの種類が複数あり、認証方法もOAuth2.0等複数の認証方法が存...

続きを見る

7月23日にニフティさん主催で開催された 「ニフティクラウド meet-up!」 ~スピーディな DevOps 実現のために。Chef の活用事例と CloudAutomation ~というセミナーでChefについて発表してきました(当日開催レポート)。   その時のスライドになります。   クラウド上でのChef活用と ベストプラクティス from N...

続きを見る

Vagrantが普通に使われるようになってきましたが、皆さん活用してますか? 知っている方も多いと思うんですが、Vagrantは1.1以降からAWSやRackspace等のIaaSもproviderを追加する形で接続可能となっています。 vagrant up --provider=hogeとすることでサーバの立ち上げやprovisioningの実行が行えるというものです。   海...

続きを見る

最近サーバセットアップツールのChefを使う機会があったのでメモ。 この手のツールでは今まではPuppetがよく使われていたと思いますが、最近Chefの名前をよく聞くようになりました。 Python界隈だとFabricも聞きます。実際社内でPython使ったプロダクトはあるのでFabricを使ったセットアップスクリプトを使う機会もありますが、個人的にはFabricは記述が自由すぎて管理しに...

続きを見る

開発環境をAmazonEC2に移行した。自分しかアクセスしない環境ではなくて、公開用の開発環境のこと。実務で言えば、ステージングの話です。以前から、開発環境は全部レンタルサーバ借りてやっていて、各サービスの偵察がてら、1年に1回ぐらいサーバ移転していた。だいぶ昔のロリポップに始まり、(Web業界入った頃はこれで十分だった)         ↓・heteml(FMS使えたし、マルチドメインの機能も使...

続きを見る

ページの先頭へ