« DESIGN IT! を振り返って | トップページ | ユーザテストの基本理論 »

2005.03.15

思考発話の理想と現実

思考発話法(発話思考法とも言う)はユーザに“話しながら操作”してもらうというユーザテストの1つの手法ですが、これは「言うは易し、行うは難し」の典型で、実はユーザビリティエンジニアを少なからず悩ませているのです。

思考発話法のテストを始める前には「今日は、考えていることを話しながら操作してください」とユーザに依頼するのですが、その際に戸惑いを見せるユーザが少なくありません。皆さんは「自分の思考過程を全て発話する」という経験はあるでしょうか? 普通の人は、そんな経験がないので、指示を受けてもどう振る舞えばいいのか想像がつかないのです。もちろん、中には思考発話が上手なユーザもいますが、大半のユーザは上手く発話できないと想定しておいた方が無難です。

計算問題や簡単なパズルを使って思考発話の練習を行ってからテストに入るという方法もあります。しかし、5分~10分くらい練習したところでユーザの習慣は変わりません。練習の時は“話すこと”に注意が行っているので発話できても、実際にタスクに取り組み始めて操作に集中すると発話が滞ってしまいます。それに、発話してくれたとしても、女性のユーザなどで声が小さいと聞き取れません。そうすると、「もっと大きな声で」という依頼もすることになります。

ユーザは、奇妙な鏡張りの小部屋(ユーザビリティラボ)で、初対面のインタビューアと2人きりで、考えていることを全て、普段よりもかなり大きな声で発話しながら、初めて見るインターフェイスを使って、指示されたタスクを実行しなければなりません。これはユーザにとって非常に不自然で、負担が大きい状態と言わざるを得ません。これでは、ユーザはインターフェイス以外の要因で混乱しかねません。

理想と現実

理想的な思考発話とは“独り言”です。誰かに対して話すのではなく、自分自身に対して話すのです。例えば、私たちはランチのメニューを決めるときにも「(昨日の夕食のメニューも)中華だったし・・・」などと内省します。このように、本来、思考発話とは自然な状態で行うもので、無理矢理に発話するものではありません。また発話内容は思考過程の実況生中継という詳細なものではなくて、断片的で不完全なもの(つぶやき)になります。

それから、ユーザの発話に対してインタビューアは応答しないのが原則です。思考発話とは“独り言”なのですから。ところが、実際にはインタビューアが応答しないとユーザの発話はどんどんフェードアウトしてしまいます。日常生活では「反応がない=相手は興味がない」ということが多いので、ユーザはだんだん居心地が悪くなって黙ってしまうのです。

このように、思考発話の理想と現実にはかなりのギャップがあります。もし、テストの目的が“研究”ならば理想に近づけるべきです。ユーザがラボの環境や思考発話に十分に慣れるまで時間をかけて訓練したり、どうしても上手く発話できないユーザは被験者から除外してもいいでしょう。そして、何度もビデオテープを見直して、断片的で不明瞭な発話内容からメンタルモデルを推定するのは研究の真骨頂です。

しかし、企業のユーザビリティラボは大学の研究室ではありません。思考発話の練習に1人あたり30分を費したり、思考発話が下手なユーザを対象者から除外していては、予算とスケジュールの範囲内で評価結果を出せなくなってしまいます。また、分析者が解明したメンタルモデルよりも、テスト中にユーザが発した一言の方が、設計チームのメンバーにとってはインパクトが大きいこともあります。

そこで、実際にはインタビューアが“介入”します。「どうしようと思っているのですか?」といった発話を促す質問だけでなく、「なぜ、さきほど左(OKボンタ)ではなく右(クリアボタン)を押したのですか?」と理由を尋ねたり、「今の気分は?」と主観的評価を尋ねることもあります。また、ユーザが立ち往生してしまったら“助成”する(ヒントを提供したり、場合によっては次のステップに誘導する)こともあります。さらに、タスクが終了してから回顧法で質問する場合もあります。

いずれにせよ、このようにインタビューアとユーザが対話する中で得られた発話は、もはや独り言ではありません。実際、ユーザは介入を受けると、操作の手を止めたり、視線をインタビューアに向けたりして話すことがあります。ユーザは明らかにインタビューアに向けて発話しています。

ユーザは嘘つき?

独り言でないからといって、ユーザの発話内容が全て“偽物”という訳ではありません。ただ、ユーザは無意識のうちに内容を歪めて発話することがあります。この歪みは時間が経てば経つほど大きくなる可能性があります。例えば回顧法のように、タスクが終了してから質問に答える場合、タスク実行途中に考えていたこと、感じていたことは、時間経過とともにユーザの頭の中で再処理されてしまうので、元の状態を再現することは非常に困難になります。

そこで、私は次のように考えてデータを分析するようにしています。もし介入に対して、すぐさま発話が得られた場合は、その内容はユーザの頭の中に存在した(信頼できる)と考えて差し支えないでしょう。一方、しばらく考え込んでから得られた発話は、理由を後付けしている危険性があります。

なお、半分くらいの発話は自然に得られることが多いです。また、テストの前半部分で介入することで、ユーザの口が滑らかになって、後半は割と自然に発話できるようになることもあります。介入はユーザにバイアスを与えるというリスクを伴いますが、ユーザが意味不明の行動をして、その理由を推測できる発話を行わなかった場合は、何らかの介入を行うというのが私の方針です。テストの目的はユーザの行動を理解することだからです。

精度と有用性

このようにインターフェイス設計の現場で用いる思考発話法は、心理学の研究で用いるものとは精度が異なります。そして調査データの精度を議論し始めると、なかなか結論が出ません。正統派の人たちは「信頼性の低いデータを収集して、何の役に立つのか」と主張しますし、現実派の人たちは「現場では十分役に立つ」と反論します。

ある調査レポートの中で、インターネット視聴率調査の最大手であるネットレイティングス(株)の萩原雅之氏が、こういった議論に対する1つの見解を述べています。これは、ユーザテストに言及したものではありませんが、私たちの議論でも参考になると思うので、最後に引用しておきます。

「『正確な調査』と『役立てる調査』には違いがある。世論調査は、調査結果そのものがアウトプットとなるので、その手続きでしか正当性が保てない。一方、マーケティング・リサーチは、企業が意思決定をするために調査するのであって、調査が『正しい』必要はなく『役立つ』ものであればよい。」
<独立行政法人 労働政策研究・研修機構 『インターネット調査は社会調査に利用できるか― 実験調査による検証結果―』P46より引用>

【参考情報】

(1)道具眼:プロトコル分析にまつわる誤解
http://www.do-gugan.com/column/column_003.html

|

« DESIGN IT! を振り返って | トップページ | ユーザテストの基本理論 »

トラックバック

この記事のトラックバックURL:
http://app.cocolog-nifty.com/t/trackback/26048/3303952

この記事へのトラックバック一覧です: 思考発話の理想と現実:

» 調査が『正しい』必要はなく『役立つ』ものであればよい [WebClumn]
「思考発話の理想と現実」というタイトルでユーザテストの1つの手法についての考え方... [続きを読む]

受信: 2005.03.15 09:10

» ユーザテストから得られる現実行動 [blog | bookslope]
Alertbox: ユーザテストから得られる現実行動(2005年2月14日) http://www.usability.gr.jp/alertbox/20050... [続きを読む]

受信: 2005.03.16 11:25

« DESIGN IT! を振り返って | トップページ | ユーザテストの基本理論 »