事例概要

お客様プロフィール

サービス導入の経緯・経歴

A社様は弊社参画前より、開発アプリの受け入れ検証を第三者検証会社に委託していました。費用対効果を上げるため他社導入を検討した結果、ウェブレッジの参画がスタート。
毎年、年間契約の見直しを行っていますが、担当範囲で2年以上継続しているのはウェブレッジだけです。

導入前の課題

A社様の実現したいゴールは主に下記の2点。
・品質向上（バグ検出数減少、ユーザー問い合わせ減少など）
・コスト削減（QA端末効率化によるコスト削減、テスト観点最適化によるコスト削減など）

さらに品質管理上の課題として
「端末カバー率は出来るだけ下げずに検証端末数を落としたい」「テストを効率化したい」という、正確性とスピードUPの両立もありました。

主な取り組み

■品質管理体制構築・運用
導入スタート～4年目までの取り組みを次項に詳しく記載しています。

■PMO（プロジェクトマネジメントオフィス）
アプリ運用面を担当。品質に特化していないプロデューサーのサポートを行っています。
主にスケジュール管理と、開発ベンダーへの見積依頼、バグの改修判断とハンドリングなどをマネジメントしています。

■オペレーション業務
品質に直結はしませんが、弊社が担当することでQAとの連携がスムーズになっています。
また、アプリのリリース業務（サーバーアップロード、公開時間などのセッティング）も請け負っています。

■テスト設計
キャリア独自のサービス形態に沿ってテスト設計を行います。開発プロセスのなるべく早い段階から仕様理解・質疑応答など行い、仕様理解を深めた上でテスト設計に入ります。
また、ポイントポイントでレビューをいただくことによって、認識齟齬の防止とともに、抜け・漏れのないテスト項目に繋がります。

■テスト実行
リリースのボリュームは常に一定ではありません。そのなかで、開発スケジュールに合わせ柔軟に対応しております。

■不具合分析
バグが出た際に原因分析（コーディングミスなど）を行い、開発ベンダーさんにバグが出た理由を聞いてナレッジとしてためています。
さらに分析を行い、「ベンダーAにはこういう傾向がありますよ。次回はここを気を付けたほうが良さそうですよ」といった風にお伝えしています。

■毎月、改善提案を提出
QAベンダーの立場から、テストのやり方・ルール・開発との連携方法など、品質・プロセス改善の施策をご提案しております。

■セミナー
プロデューサーに対してセミナーを実施しています。（例：Android5.0が出るとどうなるの？など）
また、A社様が知りたいことについて、弊社の知見を活かした社内セミナーも実施しています。（年1回ペース、無料で開催）※全て受託型

品質管理体制構築・運用の取り組み（導入1年目～4年目）

A社様は自社に品質管理部門を保有するものの、実際は管理を行うのみ。プロデュース、ディレクションに専念したいとのご要望をお持ちです。
弊社は品質管理部門の体制構築・運用に取り組みました。

なおスポット対応ではなく専属の固定体制にてスタートしましたが、固定体制には下記のメリットがあります。
・年間契約（案件ごとの受発注が不要）
・テストのリクエストを管理
・人員の固定化
・ナレッジの蓄積
・PDCAがまわしやすい

1～4年目の各課題と取り組み

1年目の課題

●フロー、フォーマットが無い

→テストの流れや成果物の内容がバラバラ

●品質への関心が薄い

→バグが残っていてもリリースされてしまう

●開発がまともにテストしていない

→受入れテストのはずが、実質システムテストに

●プロジェクトの中にテストが浸透していない

→全てにおいて開発優先になっている

●開発のマイルストーンにテスト期間が設けられていない

→リリース優先になっている

1年目の取り組み

●各種フロー整備

→5つのフローを作成し、テストの流れを整備

●各種フォーマット作成

→21個のフォーマットを作成。報告内容・粒度のばらつき低減

●標準テスト項目の作成

→開発に展開し、開発内のテストを支援

→テスト漏れ防止とともに、レビューにかかる負荷の抑制

●テストの必要性の啓蒙

→プロジェクト初期段階からテストがスケジュールされるように

2年目の課題

●フローやルールが浸透しない

→フロー・ルールが遵守されない

●見積もりと実績の工数が乖離する案件が多い

→見積もり時の情報不足

●お客様のレス待ちでテストが止まる

→連絡が取れず、テストが進められない

●リリース後、ユーザー問い合わせが多い

→ユーザーを想定したテストが不足していた

2年目の取り組み

●フロー、ルールの再周知

→お客様の品質担当者から社内に再周知＋都度説明の草の根活動

●ヒアリングシートの導入

→見積もりの精度が±25％ → ±10％に改善

●PMO導入

→お客様側の負荷軽減によりレスポンス速度向上

●テスト項目の見直し

→ユーザーの利用環境を想定したテストを追加

3年目の課題

●開発から納品されるアプリの品質が低い

→テストでクリティカルな不具合が多い

●リリース後のユーザー問い合わせがなかなか減らない

→機能確認のテストがメインで、シナリオ・ユースケースが不足

●テストのナレッジを集約、蓄積、共有する場所がない

→属人化の深刻化

●お客様の作業待ち（テスト環境整備）でテストが滞る

→テスト進捗のボトルネック

3年目の取り組み

●開発のテスト項目をウェブレッジで作成

→アプリ納品時のクオリティ向上

●テストのフローの見直し

→どのタイミングで、誰が、何をするのか、を明確に

●テストのやり方の見直し

→機能テスト50％、フリーテスト+シナリオテスト50％

●QA wikiの作成

→情報の一元管理により、共通認識を持てるようになった

→人員の入れ替わりの際の引継ぎがスムーズに

●定型的な作業の代行

→作業待ちでテストが滞ることが無くなった

4年目の課題

●テスト工数の肥大化

→右肩上がりなテスト端末数

●効率的なバグ検出

→テスト観点、テストスキルなどの属人化

●リリースに間に合わせるための不具合処理

→承認を得るための表面的な対応

4年目の取り組み

●テスト自動化の導入

→1機種あたりのテスト工数を60％削減

●不具合の傾向を分析

→バグレポートから、語句の出現頻度や関連性を分析
実証実験ではバグ検出率が約30％向上

●リリース承認の内容、フローを整備

→対象アプリの品質を審査

体制の変遷

課題への取り組みに伴い、運用体制の変更・増員など柔軟に対応しています。

成果・まとめ

導入4年目までの成果

これらの取り組みにより、導入4年目までで下記のような成果を得ることができました。
・テストのフローが整い、各種フォーマットも整備された
・テスト活動も認知され、関係者の理解も得られやすくなった
・開発からの納品段階でのクオリティがあがってきた
・対応の柔軟性を維持しつつ、改善が図れている
・PDCAもまわってきている

さらに4年目には、より具体的なメリットも表れています。
・テスト効率化により、1QAあたり10％の工数を削減！
・アプリ品質向上。リリース後のユーザー問合せ対応のQAがなかった

QA工数実績（1年目～4年目）

PMOを担当したことによるプラス効果

また、弊社でPMOを担当したことによるプラス効果もありました。
・プロデューサーのQA管理工数削減
・PMOがバグのトリアージを行う為、余分な不具合改修工数の削減
・PMOとQAが近い場所にいる為、連携が非常にスムーズ
・プロデューサー不在による確認待ち・判断待ちの解消

結果としてキャリア担当プロデューサーの負荷が軽減され、別プロジェクトを担当できるようになりました。

今後の課題

今後の課題としては、
・まだまだナレッジの有効活用ができていない
・テストの前の段階での品質向上
・開発がスケジュール通りに進まない
・テスト端末の最適化
などが挙げられます。現在も引き続き、取り組みを重ねています。

お客様の反応

弊社のサービスについて、お客様に感想を伺いました。

―　なぜウェブレッジをリピートしてくれるのか？どこに満足しているか？ 1．使いやすい
理解力と協力姿勢と忍耐力と柔軟性がある。
（QA含め、それ以外も色々やってくれる（突然の依頼、緊急依頼））

2．サービスが良くなってきている
2度同じミスはしない、等
バグ検出数多い、検出率が高い（一緒に入っている他社とくらべて高い。）
フリーテスト実施による不具合検出が多い
過去のバグをQMが把握している、フリーテストの観点も決めている。

3．QAをリードしてくれるところ
ディレクター進捗が遅れていたら、お尻を叩いてくれる　など

―　ウェブレッジを使ってみて、事前の予想と違った点は？（良い点も悪い点も） 提案をたくさんしてくれるから嬉しい。

―　経営メリットは？（利益、売上、コスト面などの貢献は？） 年間QAトータルコストが抑えられる。
端末選定詳しいから無駄なテストしなくて良いし、不具合や仕様理解の知見が溜まってきているので、情報共有コストとかコミュニケーションコストが減っている。

―　現場のリアルな声をお聞かせください ウェブレッジはテスト以外（サーバーアップとか）もやってくれるから嬉しい。ウェブレッジには何でもお願いしたい！

弊社担当コメント

お客様とともにQA体制の構築がスタートし、お客様の要望・課題をヒアリングし、弊社からご提案をし…を繰り返し、お客様と二人三脚で体制をつくってまいりました。
今ではプロデューサー補佐や運用補佐など、テスト以外の部分でもご支援させていただき、様々な角度から品質向上に取り組ませていただいております。 年々、要望・課題のハードルが上がりチャレンジングなことも増えてきましたが、体制がより良くなっていることを実感しております。

サービス体制・担当範囲

サービス体制

担当範囲

検証
・新機種　年間4～50機種
・新アプリ（年2～3本）
・OSバージョンUP
・アプリアップデート
・機能追加
・不具合改善

プロデューサー補佐
機能改修・不具合改修のスケジュール管理など

運用補佐
マスター情報管理、リリース作業、アプリ署名、依頼に基づいたユーザー情報の抽出

関連サービス