※注意 この記事はembulk-output-bigquery v0.2.x以前に基づいて書かれています。
v0.3.0で大幅な変更が加わっているためv0.2.xで使っていたconfig.ymlはそのままでは使えません。
主な変更点は
* JavaプラグインからJRubyベースのプラグインに変わりました。それまでよりpull-requestは送りやすくなったと思うので早く送るん(ry
* fo...
最近embulk-input-gcs、embulk-output-bigqueryというEmbulkのプラグインを作ったんですが、Embulk本体のコードよりGoogleのAPI/Google APIs Client Library for Javaの利用でハマりました。
AWSのようにSDK落としてくればサクッと開発できると思ってたんですがそんなに甘くなかった。。
GCP(Google Cl...
並列データ転送ツールEmbulkのプラグインであるembulk-input-gcsを作りました。
EmbulkのインプットソースとしてGoogle Cloud Storage(GCS)上のバケット/ファイルを指定できるものです。
embulk-output-gcsの方が断然需要が高いと思いますが、自分はembulk-output-bigqueryを作っている最中にいろんな場所から同じデータでテス...
embulk-input-gcsというGoogle Cloud Platform(以下GCP)のGoogle Cloud Storage(以下GCS)からデータをバルクインポートできるEmbulkのプラグインを書いたんですが、GCSのAPIを利用するために必要な手順になります。
APIを利用するために必要な情報
GCPはアカウントの種類が複数あり、認証方法もOAuth2.0等複数の認証方法が存...
7月23日にニフティさん主催で開催された
「ニフティクラウド meet-up！」 ～スピーディな DevOps 実現のために。Chef の活用事例と CloudAutomation ～というセミナーでChefについて発表してきました(当日開催レポート)。
その時のスライドになります。
クラウド上でのChef活用と ベストプラクティス from N...
Vagrantが普通に使われるようになってきましたが、皆さん活用してますか？
知っている方も多いと思うんですが、Vagrantは1.1以降からAWSやRackspace等のIaaSもproviderを追加する形で接続可能となっています。
vagrant up --provider=hogeとすることでサーバの立ち上げやprovisioningの実行が行えるというものです。
海...
本日、2012年12月8日に開催されたRejectTokyoRubyKaigi10で「Jenkins×JMeterで負荷テスト自動化」というタイトルで発表してきました。スタッフの皆様、会場提供してくださったドリコム様、ありがとうございました。
発表資料
JenkinsとjMeterで負荷テストの自動化 from oreradio
スライド中に出てくるJenkinsプラグインのスク...
最近サーバセットアップツールのChefを使う機会があったのでメモ。
この手のツールでは今まではPuppetがよく使われていたと思いますが、最近Chefの名前をよく聞くようになりました。
Python界隈だとFabricも聞きます。実際社内でPython使ったプロダクトはあるのでFabricを使ったセットアップスクリプトを使う機会もありますが、個人的にはFabricは記述が自由すぎて管理しに...
Jenkinsプラグインを作成する際のJellyテンプレート作成でのハマりポイントをメモしておきます。
順次追記していきます。
if/elseを使いたい
<j:if></j:if>はありますが<j:else>や<j:elseif>はないようです。
<j:if></j:if>を使用するか<j:when>&...
先日、SOAPを使ったAPIサーバを構築する機会がありSOAP1.1と1.2の違いやWSDLを使用したSOAPクライアントの挙動でハマったのでメモ。
最近のWebAPIといえばほとんどがRESTで、SOAPとRESTのIFが用意されていれば殆どの場合RESTを使うことが多いと思います。
自分自身もSOAPなんて名前を聞くのも久々で仕様をいまいち理解していなかったこと...
