ペアワイズ法について簡単にまとめて手を動かしてテストケースが削れるのを眺めてみた
この記事はソフトウェアテストの小ネタアドベントカレンダーの2日目の記事です。
この記事では、大量にあるテストケースをある程度不具合検出率を担保しつつ効率よく削るための手法であるペアワイズ法についてその概要をまとめ、組み合わせが小さい場合について手で実際に行ってみて、なぜテストケースが減らせるのか確認します。
TL;DR
- テスト対象のパラメータの値を単純に組み合わせていくと、テストケースがあっという間に増えすぎてしまう
- 実際に影響があるのは2つくらいのパラメータの値の組み合わせであることが多いので、パラメータでペアを作って、そのペアごとにすべての値をテストできるようにテストケースを作成するようにすると効率がいいのでは、というのが ペアワイズ法 の基本の考え方
- ペアごとにすべての値をテストすればよい、としたことで1つのペアの条件をテストしながら他のペアの条件もテストしていくことでテストケースが削減される様子を眺めてみた
単純に条件の組み合わせを増やしていくとテストケースがあっという間に増えてしまう
テストを作成する際、テスト対象に入力されるパラメータの組み合わせからテストケースを作成することが多いと思います。
たとえば、以下のような入力欄があるログインフォームがあるとして
- 会員IDの欄
- パスワードの欄
がありそうですが、これらに
- 未入力か
- 正常に入力されているか
- 異常な値が入力されているか
などの状態があると思うんですが、律儀にテストしていると
- 3 * 3 = 9
パターンになります。これだけのログインフォームならまだいいですが、例えば会員登録時のフォームで、さらに
- 性別
- 都道府県
- メールアドレス
などの項目がある場合、律儀に同様の組み合わせを試験に追加しようとすると
- 9 * 27 = 243
とちょっと真面目に組み合わせの試験をする気がなくなってきますね。
ペアワイズ法とは
ところで、上の例では、すべてのパラメータの組み合わせが同等に結果に影響をあたえる、つまり、
- 会員IDに関する結果を見たい時、他の4つのパラメータ(パスワード/性別/都道府県/メールアドレス)のすべての組み合わせを考える必要がある
としているので、
- 会員IDが未入力
- 会員IDが正常に入力されている
- 会員IDに異常な値が入力されている
の3つのケースそれぞれに対して、他の4つのパラメータの組み合わせ(81通り)をテストするということで243通りになっているのですが、実際、会員IDに利用したい値が正常かどうかについて都道府県のフォームの入力値はあまり関係なさそうですよね。
つまり、
- 複数のパラメータの組み合わせがテスト結果に影響をあたえるとしても、すべてのパラメータの組み合わせを使う必要はない
- 実際テスト結果に影響をあたえるパラメータの組み合わせは2つくらいのパラメータからなることが多い
ので、すべてのパラメータから2個ずつ*1のペアを作って、そのペアについてはすべての結果を試験するようにテストケースを作成していこう、というのがペアワイズ法の考え方みたいです。
組み合わせの数が小さい場合について、実際に手作業でやってみる
ペアワイズ法を使ってみるとどういう風になるか、具体例を使って考えてみます。今回は、
- 会員ID
- パスワード
- 性別
のパラメータについて、パラメータごとの値を、正常に入力されている(o)/未入力()/異常な値が入力されている(-)として、3つのパラメータのすべての値の組み合わせで表を作ると
| 会員ID | パスワード | 性別 |
|---|---|---|
| o | o | o |
| o | o | - |
| o | o | |
| o | - | o |
| o | - | - |
| o | - | |
| o | o | |
| o | - | |
| o | ||
| - | o | o |
| - | o | - |
| - | o | |
| - | - | o |
| - | - | - |
| - | - | |
| - | o | |
| - | - | |
| - | ||
| o | o | |
| o | - | |
| o | ||
| - | o | |
| - | - | |
| - | ||
| o | ||
| - | ||
と27パターンありますが、特に禁則などを指定せず、組み合わせの強さ2でペアワイズ法を利用した場合、
| 会員ID | パスワード | 性別 |
|---|---|---|
| o | o | o |
| o | - | o |
| o | o | |
| - | o | - |
| - | - | - |
| - | - | |
| o | ||
| - | ||
| o | - | x |
| o | - | |
| - | o | o |
| - | - | x |
| o | o | |
| - | x |
の15パターンに減ります。
なぜ減るかというと、ペアワイズ法でテストケースを作成していく時、個々のテストケースにおいてペアにしていないパラメータの値の影響は気にしないことにしているので、複数のペアについて1つのテストケースである程度同時にテストしていくことが可能になるからです*2。
たとえば、上の例だと、最初の9行で
| 会員ID | パスワード |
|---|---|
| o | o |
| o | - |
| o | |
| - | o |
| - | - |
| - | |
| o | |
| - | |
のように、会員IDとパスワードのペアについてすべての組み合わせ(9通り)をテストしていますが、この時、
| 会員ID | パスワード | 性別 |
|---|---|---|
| o | o | o |
| o | - | o |
| o | o | |
| - | o | - |
| - | - | - |
| - | - | |
| o | ||
| - | ||
のように、性別の値も入れ替えておくことで、
- 会員IDとパスワードの組み合わせのテストをしながら
- パスワードと性別の値のペア(9通り)のテストが同時に実行でき
- 会員IDと性別のペアのテストの一部(3通り)も進められる
ので、ペアワイズ法を用いた場合のテストケースは、もとの3つのパラメータのすべての値の組み合わせをテストしていた場合と比べて 27 パターンから 27 - 9 - 3 = 15 パターンに減ります。
また、これまでパラメータと書いてきた入力条件にあたるものを 因子、因子ごとに取りうる値のことを 水準 と呼びます。
参考
ペアワイズ法を利用する際に使うPICTのツールや、ペアワイズ法そのものについてもっと詳しい解説記事はたくさんありますが、この記事を書く際に参考にしたものをリンクして、この記事はおしまいにします。
http://www.atmarkit.co.jp/ait/articles/1503/16/news149.html https://qiita.com/mitch0807/items/2d8af40fc58d359232ba
*1:これは実際のテストケースの状態によって調整する。ペアを作る時のパラメータの個数を「組み合わせの強さ」といって、2個ずつのパラメータでペアを作る時の組み合わせの強さは2.
*2:実際にその組み合わせはありえない、など、結果に影響があるパラメータについては指定することも可能です http://www.atmarkit.co.jp/ait/articles/1503/16/news149.html
