前回の『テスト自動化導入のポイントVol.2　〜テストツール導入の落とし穴〜』 では、テストツールを導入する際に気をつけなければいけないことについてご紹介しました。

今回は、テスト自動化による工数削減の効果と、その測定方法についてご紹介します。

テスト自動化の効果測定の目的

テスト自動化による効果の測定方法をご紹介する前に、まずは効果測定を行う目的について解説します。

自動車の燃費を計算する理由を例に考えてみましょう。自動車の燃費を計算する理由としては、その自動車がいい買い物だったのかを判断するためであったり、選択肢の評価や比較のためであったり、問題の早期発見や予測のため、標準や競合に対するベンチマークのためであったりすると思います。そして、これらは自動車の燃費だけでなく、テスト自動化やテストツールの導入にも当てはまります。

前述した例から、効果測定には大きく分けて2つの目的があることが分かります。
ひとつは、テストの改善やツールの導入などに投資する前に「どれくらいの効果（利益）が得られるかを見積もるため」です。
もうひとつが「導入後に実際にどれくらいの利益を得られたか確認するため」です。前者は予測のために測定値を使い、後者は評価のために測定値を使います。

テスト自動化の費用対効果を測定する方法

テストには、テスト対象（ソフトウェア）によってさまざまな種類があり、自動化のポイントも異なります。そのため、テスト自動化の費用対効果を測定する方法もそれぞれに存在します。ここでは、弊社で行なっている測定方法の一例をご紹介します。

①自動化による効果の測定

まず、テスト自動化によってどの程度のテストを実行できたのかを算出します。その際には、以下のような指標により自動化によってどれだけのテストを実行できたのかを算出します。

・自動スクリプトの数
・自動テスト項目数
・自動テストの実行時間
・バグが原因で失敗したテストの数
・実現したカバレッジ
・顧客満足

②自動化のコストの算出

次に、テスト自動化に掛かった費用を算出します。その際には、以下のような工数や金額を総合的に計算し、自動化の総コストを算出します。

・テストケースの設計コスト
・ツールに掛かるコスト
・自動化に掛かるコスト
・メンテナンスに掛かる工数や費用
・教育・トレーニングに掛かるコスト

③「①効果 ｰ ②コスト」と「手動テスト」の場合を比較

最後に、手動でテストを実行した場合のコストを算出し、上記の「①効果 ｰ ②コスト」と比較して、自動化による費用対効果を算出します。

※あくまでテスト自動化の費用対効果測定方法の一例になります※
※御社の環境・状況に合わせたテスト自動化の費用対効果測定や導入についてはテスト自動化サービス でご支援をしております。是非お問い合わせください。※

効果を測定できるもの

ソフトウェア（テスト対象）やテストには、測定可能な項目がたくさんあります。ここではその一例をご紹介します。

ソフトウェアで測定可能なものの例

・規模（ソースコードの行数、ファイル数）
・ファンクションポイント
・オブジェクトコードのバイト数
・判定の数（if、while、caseやその他ステートメントの数）
・構築のコスト（ソフトウェアを書くための時間や工数）
・テスト中や使用中に見つかったバグの数
・開発者の人数

テスト（全般）で測定可能なものの例

・テストスイートに含まれるテストの数
・計画しているテスト数と、実行済みのテスト数、成功したテスト数
・テストの活動に費やされたコスト（工数や時間）
・テスト中や使用中に見つかったバグの数
・テストカバレッジ

テスト自動化で測定可能なものの例

・自動化スクリプトの数
・自動化されたテストの数
・自動化されたテストの実行時間
・テストのメンテナンスにかかる工数
・バグが原因で失敗したテストの数

テスト自動化による工数削減の効果

最後に、テスト自動化を支援する弊社の実績に基づく、テスト自動化による工数削減効果の例をご紹介します。

下記のグラフは、これまでの実績において全てのテストを手動テストで行なった場合の工数と、手動テストで行なっているものの3割を自動化した場合の工数、7割を自動化した場合の工数の3つを比べたものになります。

※あくまで一例となります※

自動化のカバー率が3割の場合、4回目から手動でテストを実施している場合の工数を下回ります。また、自動化のカバー率を7割まで上げた場合には、6回目から手動でテスト実施した場合とカバー率が3割の場合での工数を下回ります。

まとめ

ここまで、テスト自動化による工数削減の効果と、その測定方法についてご紹介しました。

テスト自動化に関するご相談はウェブレッジへ

弊社は、webサイトやスマホアプリ、クラウド製品、業務システムなどのソフトウェアにおけるテスト・検証を支援する、第三者検証サービスを提供しております。
テスト自動化に関しても自動化による投資対効果の調査から自動スクリプト作成支援、保守まできめ細やかなご提案を致します。

まずは、お気軽にお問い合わせください。

【無料ダウンロード】テスト自動化の導入

品質向上支援のスペシャリスト集団である株式会社ウェブレッジが、テスト自動化を組織へ導入するにあたってのステップや、自動化で失敗しがちな注意点に関してまとめた資料を無料でご提供しております。

■テスト自動化に関するその他の解説記事

テスト自動化導入のポイントVol.1　〜どのテストを自動化すべきか〜
テスト自動化導入のポイントVol.2　〜テストツール導入の落とし穴〜
テスト自動化導入のポイントVol.3　〜工数削減の効果と効果測定の方法〜【本記事】
テスト自動化導入のポイントVol.4　〜組織へ導入するプロセス〜

【参考文献】：
『システムテスト自動化 標準ガイド』