年末に投稿しようと思って塩漬けになっていた記事を公開。
昨年の年末2011年11月18日に「mixi unwired 02: ユーザビリティ・テストを実体験してみよう」というワークショップがあったので参加してきました。
ユーザビリティテストと聞くと高価な機材や専門の部屋が必要というイメージがありました。実際に国内だとNAVER （NHN）さんがUXリサーチルームという設備を持っていると聞いています。今回、mixi社内で行っているやり方をお伺いすると既存の機材やアプリケーションを上手く組み合わせて行われているという印象。
当日は前半でスライドを交えてユーザビリティテストの概略や社内でのフローについて説明があり、後半で実際に体験してみるという流れで行われました。 資料は後日UPされるということなので、資料に載っていない部分を中心にまとめ。
ユーザビリティテストの概要とmixi社内でのフロー
- ユーザビリティテストのイメージ「ラボ」「高価な機材」「分厚いレポート」→もっとカジュアルにできるよ
- mixiでは1年ほど前からユーザビリティテストを試行錯誤を重ねつつ導入している。
それまでは各プロジェクトや個人の経験によりばらばらで行っていた。社内でUXなどについての勉強会も行い浸透を図っている。
社内フローの一例としては
- タスク設計（インタラクション・シナリオ、アクティビティシナリオ）
- 被験者リクルーティング
- パイロットテスト
- 実際のテスト
という流れとなる。
実際のユーザビリティテストについては
- ペーパープロトタイプの段階で仮シナリオやペルソナを決めテスト
- モックを作成。この段階でもユーザビリティテストを行う
- プログラムを実装した後でユーザビリティテスト
- リリース後にもユーザビリティテストを行い、継続的にカイゼンを行う（ここ大事）
という流れとなるそうです。
- 被験者の人数については5人いればユーザビリティ上の問題をほぼ発見できると言われており、実際の被験者数もそのぐらい。1ペルソナで5人。
- 被験者については社内にmixiのコアとなる大学生や主婦などユーザがいないため、社外の人にお願いする。
被験者の集め方については社内のツテを頼ったり、リクルーティング会社経由で集めたりするそうですが、社外にお願いすると人選が容易になるというメリットがあるのは勿論、mixiと被験者で直接契約（秘密保持契約等）を結ぶ手間が省けるという事務手続き上のメリットもあるそうで意外とここは大きいかも…被験者の方に支払う謝礼は思っているほど高くないそうです（金額聞いたけどバラしていいのか分からない）。もし社内の人間で行う場合には総務とか人事の方にお願いしたりするそうです。
使用機材とアプリケーション
最初に書いたように、既存の機材やアプリケーションを上手に使って実現されていました。 iPad版mixiのユーザビリティテストを行う場合、以下の図のようになります。
- 被験者の使うiPadをiMacに接続する
- iMac内蔵のWebカメラで被験者の手元を撮影。インストールされたSkypeを使い別室に映像を送る
- iPadの画面についてはiChatの画面共有機能を使ってこれも別室に送る
参加者を交え実際にユーザビリティテストを行う
iPad版のmixiのユーザビリティテストを行いました。
ユーザビリティテストを行う際には被験者の他にモデレータ（ガイド役）、オブザーバ（観察者）という役割を持つ人達が登場します。
mixiの場合モデレータは社内の人間が務めることもあれば外部の調査会社の人が務める場合もあるそうです。 まず参加者の中から被験者を募りましたが聞かれたのは次の3点。
- mixiアカウントを持っていること
- iPadを日常的に使用していること
- iPad版mixiを使ったことがないこと
他の参加者はオブザーバとなり映像を見ながら手元の付箋に気づいたことを書いていきます。
ここでモデレータの女性が登場。まず始めに諸々注意事項などを被験者に説明します。
- 録画を行うこと
- テスト内容について
- テストの際の注意点
- 未公開のサービスのユーザビリティテストを行う場合には他言しないこと
など。実際には前段階でアイスブレイクを兼ねてアンケートをお願いしたりするのだとか。ここでモデレータと被験者の「信頼関係」を築いてテストを進めやすくする狙いもあるのだそうです。
テストの際の注意点としては
- 正直に答えてもらうこと（悪い点が見つかっても被験者が悪いわけではない）
- 否定的なことを言ってもらってもOK
- 操作内容や気持ちを口に出してもらう（発話）
被験者によってはゲーム感覚でなんとか「全クリア」のようなことを試みる方もいらっしゃるそうで正直に答えてもらうのが重要。この辺はモデレータの腕の見せ所な部分もありそう。ちなみにモデレータは一般的に女性が向いていると言われているそうです。まあ被験者が女性ならモデレータも女性の方が心開きやすそうだし被験者が男性なら言わずもがなって感じですね。
発話についても重要で、操作内容は手元を撮影しているので見えたとしても被験者の「思考」までは読めないため、特に「気持ち」を口に出してもらうのが重要とのこと。
モデレータによる説明はここまでで、ここから実際にテストを行っていきます。被験者は男性の方でした。テストは前半で自由に操作を行ってもらい、後半でモデレータが説明する特定のタスクを実行してもらう流れ。実際のテストでは前半が10分程度、後半のタスクの数については50門程度だとか。
テスト前半
被験者が普段使っているmixiアカウントでログインしてもらいiPad版mixiを自由に触ってもらいました。被験者を募る際に「mixiアカウントを持っていてiPadを持っている。iPad版mixiは使ったことがない」という条件で選んでいることがポイント。 被験者の発話の例 「ああ、iPad版のmixiってこんな感じなんだ」
mixiの方が実際に開発チームにフィードバックできそうとおっしゃるぐらい実際のテストに近い形だったんではないかと… 前半が終わったところでモデレータから被験者に質問。
- 「自分でこのアプリケーションを使いこなす自信はありますか？」
- 「またこのアプリケーションをインストールして使うと思いますか？」
- 「良い点、悪い点、デザインの好みについて教えてください」
- 「評価を5段階でお願いします」
テスト後半
質問が終わると後半の特定のタスクをお願いしてテストを行っていきました。
- 「今いるカフェの雰囲気がいいので写真を撮って呟いてください」
- 「日記を友達だけが見えるように書いてUPしてください」
- 「さきほど投稿したカフェの写真になにかフィードバックが来ていないか確認してください」
- 「コメントが来ているようなのでそのコメントに返信してください」
タスクが全て終わるとオブザーバ役の参加者が付箋に書いた「気づき」をホワイトボードに貼っていきます。 ホワイトボードには縦軸にユーザ、横軸にタスクが並んだ表が書かれており、該当箇所に付箋を貼っていきます。付箋をグルーピングしたければマーカーで括ったりもできて便利。この辺りは「カンバン」と同じ。
そしてプロジェクトメンバーが集まって結果の評価を行います。
評価軸としては
- 成功率
- タスク達成時間
- エラー率
- NE比
- ユーザの主観的満足度
などだそうです。ただしタスク達成時間についてはサービス特性としてゲームのように時間が問題になることがないことや、発話の時間によっても変わってくるため、それほど重視していないということです。
ユーザビリティテストを行ってみての社内の反応など
元々社内の人間はmixiのサービスのヘビーユーザであり（社内にマイミクが沢山いてハンドルネームしか分からない人がいたり）ライトユーザとは視線が異なることや、企画職の方であれば自分の企画に対して思い入れがあったりして「自分たちが使いやすい=ユーザも使いやすい」となりがちなところ、実際のユーザビリティテストの結果を目にするとハッとさせられることも多いそう。
エンジニアの場合は論理的に考える人が多いこともあり、テスト結果があると受け入れられやすいとか。
さらに社内でユーザビリティテストを行った4プロジェクト16人にアンケートを行い「今後もユーザビリティテストを実施したいですか？」という質問を投げたところ、16人中16人が「したい」と答えたそうです。mixiの規模の割に回答者が少ない気もしますがここはユーザビリティテストを本格導入したのがここ1年ということが影響しているんじゃないかと思われ…アンケートの回答の中には結果を見て「しにたい」と答えた方もいたとか。
参加してみて
エンジニアだとどうしても開発手法や言語、バックエンドの構成などに目が行きがちですがサービスを使うユーザにとってみたらその辺りはどうでもいいわけでUXとかユーザビリティテストというのはエンジニアももっと注目してもいい分野なんではないかなと思っています。
自分SIerでデザインが外注だったりすることも多いのでなかなかその辺りのカイゼンを行うことが難しいですがせめて業務アプリでよくある糞管理画面とかは作らないようにしたいなどと思いつつ。
最後に会場の「JELLY JELLY CAFE」さんはバーかと思いきや昼間はコワーキングスペースとして使えるのだとか。東急ハンズ渋谷店の裏手辺りというロケーションなので興味のある方は行ってみてはいかがでしょうか。
