導入実績・解決事例

導入事例1 A社(キャリア向けアプリ企画・開発)

取引実績5年超!品質管理体制の構築による工数削減
~お客様と二人三脚の取り組み~

ご利用サービス

品質コンサルティング、品質PMO、テスト計画・テスト設計支援、テスト自動化

A社様はキャリア向けアプリの企画・開発のほか、幅広いビジネスで多角的に事業展開を行っているお客様です。こちらでは、主に弊社の「品質管理体制構築・運用」について導入事例をご紹介します。

事例概要

お客様プロフィール
会社名 A社
企業規模 従業員数600名
事業内容 サービス業 会員数数十万ユーザーのアプリを企画・開発
サービス導入の経緯・経歴

A社様は弊社参画前より、開発アプリの受け入れ検証を第三者検証会社に委託していました。費用対効果を上げるため他社導入を検討した結果、ウェブレッジの参画がスタート。
毎年、年間契約の見直しを行っていますが、担当範囲で2年以上継続しているのはウェブレッジだけです。

導入前の課題

A社様の実現したいゴールは主に下記の2点。
・品質向上(バグ検出数減少、ユーザー問い合わせ減少など)
・コスト削減(QA端末効率化によるコスト削減、テスト観点最適化によるコスト削減など)


さらに品質管理上の課題として
「端末カバー率は出来るだけ下げずに検証端末数を落としたい」「テストを効率化したい」という、正確性とスピードUPの両立もありました。

主な取り組み

■品質管理体制構築・運用
導入スタート~4年目までの取り組みを次項に詳しく記載しています。

■PMO(プロジェクトマネジメントオフィス)
アプリ運用面を担当。品質に特化していないプロデューサーのサポートを行っています。
主にスケジュール管理と、開発ベンダーへの見積依頼、バグの改修判断とハンドリングなどをマネジメントしています。

■オペレーション業務
品質に直結はしませんが、弊社が担当することでQAとの連携がスムーズになっています。
また、アプリのリリース業務(サーバーアップロード、公開時間などのセッティング)も請け負っています。

■テスト設計
キャリア独自のサービス形態に沿ってテスト設計を行います。開発プロセスのなるべく早い段階から仕様理解・質疑応答など行い、仕様理解を深めた上でテスト設計に入ります。
また、ポイントポイントでレビューをいただくことによって、認識齟齬の防止とともに、抜け・漏れのないテスト項目に繋がります。

■テスト実行
リリースのボリュームは常に一定ではありません。そのなかで、開発スケジュールに合わせ柔軟に対応しております。

■不具合分析
バグが出た際に原因分析(コーディングミスなど)を行い、開発ベンダーさんにバグが出た理由を聞いてナレッジとしてためています。
さらに分析を行い、「ベンダーAにはこういう傾向がありますよ。次回はここを気を付けたほうが良さそうですよ」といった風にお伝えしています。

■毎月、改善提案を提出
QAベンダーの立場から、テストのやり方・ルール・開発との連携方法など、品質・プロセス改善の施策をご提案しております。

■セミナー
プロデューサーに対してセミナーを実施しています。(例:Android5.0が出るとどうなるの?など)
また、A社様が知りたいことについて、弊社の知見を活かした社内セミナーも実施しています。(年1回ペース、無料で開催)※全て受託型

品質管理体制構築・運用の取り組み(導入1年目~4年目)

A社様は自社に品質管理部門を保有するものの、実際は管理を行うのみ。プロデュース、ディレクションに専念したいとのご要望をお持ちです。
弊社は品質管理部門の体制構築・運用に取り組みました。

なおスポット対応ではなく専属の固定体制にてスタートしましたが、固定体制には下記のメリットがあります。
・年間契約(案件ごとの受発注が不要)
・テストのリクエストを管理
・人員の固定化
・ナレッジの蓄積
・PDCAがまわしやすい

固定体制図
1~4年目の各課題と取り組み
1年目の課題
●フロー、フォーマットが無い
→テストの流れや成果物の内容がバラバラ
●品質への関心が薄い
→バグが残っていてもリリースされてしまう
●開発がまともにテストしていない
→受入れテストのはずが、実質システムテストに
●プロジェクトの中にテストが浸透していない
→全てにおいて開発優先になっている
●開発のマイルストーンにテスト期間が設けられていない
→リリース優先になっている
1年目の取り組み
●各種フロー整備
→5つのフローを作成し、テストの流れを整備
●各種フォーマット作成
→21個のフォーマットを作成。報告内容・粒度のばらつき低減
●標準テスト項目の作成
→開発に展開し、開発内のテストを支援
→テスト漏れ防止とともに、レビューにかかる負荷の抑制
●テストの必要性の啓蒙
→プロジェクト初期段階からテストがスケジュールされるように
2年目の課題
●フローやルールが浸透しない
→フロー・ルールが遵守されない
●見積もりと実績の工数が乖離する案件が多い
→見積もり時の情報不足
●お客様のレス待ちでテストが止まる
→連絡が取れず、テストが進められない
●リリース後、ユーザー問い合わせが多い
→ユーザーを想定したテストが不足していた
2年目の取り組み
●フロー、ルールの再周知
→お客様の品質担当者から社内に再周知+都度説明の草の根活動
●ヒアリングシートの導入
→見積もりの精度が±25% → ±10%に改善
●PMO導入
→お客様側の負荷軽減によりレスポンス速度向上
●テスト項目の見直し
→ユーザーの利用環境を想定したテストを追加
3年目の課題
●開発から納品されるアプリの品質が低い
→テストでクリティカルな不具合が多い
●リリース後のユーザー問い合わせがなかなか減らない
→機能確認のテストがメインで、シナリオ・ユースケースが不足
●テストのナレッジを集約、蓄積、共有する場所がない
→属人化の深刻化
●お客様の作業待ち(テスト環境整備)でテストが滞る
→テスト進捗のボトルネック
3年目の取り組み
●開発のテスト項目をウェブレッジで作成
→アプリ納品時のクオリティ向上
●テストのフローの見直し
→どのタイミングで、誰が、何をするのか、を明確に
●テストのやり方の見直し
→機能テスト50%、フリーテスト+シナリオテスト50%
●QA wikiの作成
→情報の一元管理により、共通認識を持てるようになった
→人員の入れ替わりの際の引継ぎがスムーズに
●定型的な作業の代行
→作業待ちでテストが滞ることが無くなった
4年目の課題
●テスト工数の肥大化
→右肩上がりなテスト端末数
●効率的なバグ検出
→テスト観点、テストスキルなどの属人化
●リリースに間に合わせるための不具合処理
→承認を得るための表面的な対応
4年目の取り組み
●テスト自動化の導入
→1機種あたりのテスト工数を60%削減
●不具合の傾向を分析
→バグレポートから、語句の出現頻度や関連性を分析
実証実験ではバグ検出率が約30%向上
●リリース承認の内容、フローを整備
→対象アプリの品質を審査
体制の変遷

課題への取り組みに伴い、運用体制の変更・増員など柔軟に対応しています。

体制の変遷

成果・まとめ

導入4年目までの成果

これらの取り組みにより、導入4年目までで下記のような成果を得ることができました。
・テストのフローが整い、各種フォーマットも整備された
・テスト活動も認知され、関係者の理解も得られやすくなった
・開発からの納品段階でのクオリティがあがってきた
・対応の柔軟性を維持しつつ、改善が図れている
・PDCAもまわってきている

さらに4年目には、より具体的なメリットも表れています。
・テスト効率化により、1QAあたり10%の工数を削減!
・アプリ品質向上。リリース後のユーザー問合せ対応のQAがなかった

QA工数実績

QA工数実績(1年目~4年目)

PMOを担当したことによるプラス効果

また、弊社でPMOを担当したことによるプラス効果もありました。
・プロデューサーのQA管理工数削減
・PMOがバグのトリアージを行う為、余分な不具合改修工数の削減
・PMOとQAが近い場所にいる為、連携が非常にスムーズ
・プロデューサー不在による確認待ち・判断待ちの解消

PMO

結果としてキャリア担当プロデューサーの負荷が軽減され、別プロジェクトを担当できるようになりました。

今後の課題

今後の課題としては、
・まだまだナレッジの有効活用ができていない
・テストの前の段階での品質向上
・開発がスケジュール通りに進まない
・テスト端末の最適化
などが挙げられます。現在も引き続き、取り組みを重ねています。

お客様の反応

弊社のサービスについて、お客様に感想を伺いました。

― なぜウェブレッジをリピートしてくれるのか?どこに満足しているか? 1.使いやすい
理解力と協力姿勢と忍耐力と柔軟性がある。
(QA含め、それ以外も色々やってくれる(突然の依頼、緊急依頼))

2.サービスが良くなってきている
2度同じミスはしない、等
バグ検出数多い、検出率が高い(一緒に入っている他社とくらべて高い。)
フリーテスト実施による不具合検出が多い
過去のバグをQMが把握している、フリーテストの観点も決めている。

3.QAをリードしてくれるところ
ディレクター進捗が遅れていたら、お尻を叩いてくれる など

― ウェブレッジを使ってみて、事前の予想と違った点は?(良い点も悪い点も) 提案をたくさんしてくれるから嬉しい。

― 経営メリットは?(利益、売上、コスト面などの貢献は?) 年間QAトータルコストが抑えられる。
端末選定詳しいから無駄なテストしなくて良いし、不具合や仕様理解の知見が溜まってきているので、情報共有コストとかコミュニケーションコストが減っている。

― 現場のリアルな声をお聞かせください ウェブレッジはテスト以外(サーバーアップとか)もやってくれるから嬉しい。ウェブレッジには何でもお願いしたい!

弊社担当コメント

お客様とともにQA体制の構築がスタートし、お客様の要望・課題をヒアリングし、弊社からご提案をし…を繰り返し、お客様と二人三脚で体制をつくってまいりました。
今ではプロデューサー補佐や運用補佐など、テスト以外の部分でもご支援させていただき、様々な角度から品質向上に取り組ませていただいております。 年々、要望・課題のハードルが上がりチャレンジングなことも増えてきましたが、体制がより良くなっていることを実感しております。

サービス体制・担当範囲

サービス体制
体制図
担当範囲

検証
・新機種 年間4~50機種
・新アプリ(年2~3本)
・OSバージョンUP
・アプリアップデート
・機能追加
・不具合改善

プロデューサー補佐
機能改修・不具合改修のスケジュール管理など

運用補佐
マスター情報管理、リリース作業、アプリ署名、依頼に基づいたユーザー情報の抽出