生体情報を用いた次世代型マーケティング支援事業やITサービスの品質向上支援事業を手掛ける株式会社ウェブレッジ（所在地：福島県郡山市 代表取締役：佐藤 保 以下、ウェブレッジ）は、自社がオンライン上で抱えているテスター（以下、クラウドテスター）を活用して、「Webサイト上の主要なユーザー動線(※1)のテスト・検証作業をクラウドソーシングで実施する有効性確認」に関する実証実験を行いました。実験には250名のクラウドテスターが参加。ユーザー体験において重要な動線の92.7%を網羅し、41件の不具合を検出。今後、クラウド型テストサービス実現に向け重要な洞察・ノウハウ獲得に成功したことを公表いたします。
＜実証実験の結果＞
調査概要
■調査目的
クラウド型テストサービス実現に向け、下記を検証するために調査を実施。
[1] ユーザー体験において重要な動線を網羅したテストができるのか？[2] 実際のユーザー動線を網羅するにはクラウドテスターが何時間テストすべきか？
[3] クラウドテスターでも不具合を検出できるのか？
■今回の調査内容
Webサイトを対象に、下記の内容でテスト・検証作業を実施。
※調査対象となるクラウドテスター選別やテスト手法、コミュニケーション方法など、弊社がこれまで培ったユーザー視点での検証ノウハウを基に設計。今回は１つの案件事例を紹介。
①クラウドテスター数：250名
②検証対象：Webサイト（150ページ程度の規模）
③検証期間：7日間
④合計テスト時間：33時間10分
調査結果（詳細）
[1] 通常のユーザーが主にアクセスする上位95%（主要なユーザー動線）のページの内、今回92.7%のページが実際にテストされました
- このWebサイトにおいては、全148ページの内、上位55ページに95%のアクセスが集中している（＝主要なユーザー動線）
- 主要なユーザー動線の内、92.7%のページが今回テストされた
という結果を得ました。
[2] テスト合計時間とユーザー動線網羅率（※2）の推移
実際のユーザー動線を100%とした際に今回のテストでどの程度カバーできたのか？（＝ユーザー動線網羅率）を、テスト時間合計を横軸に置き、推移を分析しました。
→テスト開始直後〜28時間程度までは、ユーザー動線カバー率が右肩上がりに上昇しましたが、その後はテスト時間に対してのカバー効率が落ちました。
[3] 今回検出できた不具合（単純な不具合〜重要度大の不具合まで検出）
→“誤字、脱字”などの単純な不具合以外にも、“機能バグ・動作不良”や“セキュリティホール”などの重要度の高い不具合も検出することができました。
＜まとめ＞
結果の考察
クラウドテスターによるテストだと品質に不安を感じがちですが、「実際のユーザー利用シーンで発生する不具合を検出する」という点において、ユーザーが実施するからこそ、実際のユーザー動線と類似のページをテストすることができるため、品質向上に繋がることが分かりました。
一方で、通常のユーザーがほとんどアクセスしないページ（ユーザー体験上、重要では無いページ）も含めた品質向上には、クラウドソーシングによるテストはあまり向かないということも分かりました。
今後の取り組み
「ユーザー体験上、重要なページ」に対してのクラウドソーシングによるテスト・検証作業の有効性は検証されました。今後は、「クラウド型テストサービス」の実現に向け、更なる実験を重ねてノウハウを蓄積し、網羅率測定の精度を向上させてまいります。
サービスの発表および販売開始は来月（2017年6月）頃を予定しており、今年の秋〜冬頃にはサービス強化のためのシステムリニューアルを予定しております。
また、将来的には顧客企業が「アプリ、予算、納期、希望の動線カバー率などの情報を入力すると、最適なクラウドテスター選定や想定網羅率を自動で算出し、テストを実行するようなサービス実現に向け、引き続き努力をしてまいります。
参考：用語解説
（※１）主要なユーザー動線
実際のユーザーが主にアクセスする上位95%のページを主要なユーザー動線と今回のウェブサイトでは定義している。
（※２）ユーザー動線網羅率
クラウドテスターがアプリやWebサイトをテストした際に「実際のユーザーが閲覧するページを100%とした際に、今回のテストでどの程度カバーできたのか？」という弊社独自の指標。先日実証実験を行い、クラウドテスターでも実際のユーザー動線をある程度まで網羅することが可能という結果が出ている。