テストのエビデンスは紙でとるべきか？データでもよいのか？

システムテストを実施したら、結果の証明となるエビデンスを取得するのはソフトウェア開発においては至極当たり前の行為です。

ただこのエビデンス。「紙で取るべきか？ それともデータで残せばよいのか問題」があります。こうした争いは全国津々浦々の開発プロジェクトで耳にするのではないでしょうか。

（もちろん現場によってはルールとして定められているところもありますが、上司によって見解が分かれる場合もあります。）

そこで今回はエビデンスを残す手法について、考察していきたいと思います。

エビデンスを紙で残すということ

まずテスト結果を紙で残す場合ですが、モニタに表示されている内容をハードコピーとして直接印刷します。主にwinshotなどのフリーソフトをインストールして対応する場合が多いのではないでしょうか。

ちなみにエビデンスを紙で残せ派は、圧倒的に年配の人が多い気がします。

紙で残すことのメリット

エビデンスは紙で残せ派の人たちが主張するのは「ハードコピーを直接紙で残すことで、データの改ざんを防止できる」というものです。

そもそもテスト結果のデータを改ざんする行為自体が御法度なわけですが、そこは人がする行為と言いますか、自動車メーカーでも燃費不正問題が話題になるように、ついつい都合の悪いデータは隠したくなってしまいます。

そうした思考が働いたときは、紙よりデータの方がより改ざんしやすいでしょうから、ちょっとした気持ちでエビデンスに手を加えてしまうかもしれません。納期に追われているときなら、なおさらです。

もちろんさすがにバグを残したままにはしないでしょうから、改ざんとは言っても、再度テスト環境を用意するのが面倒だからと、バグはこっそり直して、エビデンスもデータ上で修正するといったことが多いのではないでしょうか。

ただし品質を保証するために行うテスト結果のエビデンスを改ざんしてしまえば、システム全体、はたまた会社自体の信頼を損ねてしまうことにもなりかねません。

品質を大事にするシステムですから、テスト結果を紙で残すということは、テスト結果の信ぴょう性を高めるということにもつなるのですね。

エビデンスをデータで残すということ

エビデンスをデータで残すということは、画面のスクリーンショットなどを取得して、それをエクセルなどにペタペタと貼り付けて結果を残していく行為です。

先にも述べたように、データですから改ざんは紙よりも容易ですが、次にあげるようなメリットがあります。

データで残すことのメリット

エビデンスをデータで残すことのメリットは「作業効率を高める」「データの関連性が分かりやすくなる」「省資源化」といったところでしょうか。

作業効率を高める

なんでもかんでも紙に印刷して、「あの仕様書はどこにしまったっけ？」とか「あのエビデンスはどこにいった？」みたいなドキュメントを探し回ることは、誰もが経験したことがあると思います。

特に紙でエビデンスを残していると、一度散乱してしまえば当該テストNo.に対応するエビデンスを見つけるのは、非常に困難となってしまいます。

データ化して管理していれば、機械的に検索もできますし、場所も取らずにスマートな管理ができますので、作業効率が高くなります。

データの関連性が分かりやすくなる

テスト結果のエビデンスなわけですから、その結果の正当性が分かるように、インプットとアウトプットの関係性などの注釈なんかがあると、よりユーザーにとって優しいエビデンスとなります（テスト結果をレビューするレビュアーにとっても優しいですね）。

こうした注釈はデータの方が付け加えやすくなるので、より質の高いエビデンスとしてお客様に納品することができます。

省資源化

あとはシステム開発という意味ではおまけ的な要素ではありますが、社会的にもエコであることが求められる時代ですから、単純に紙を大量に印刷しないことによる、省資源化というメリットがあります。

大規模なシステム開発であれば、テスト項目も膨れ上がりますし、エビデンスの量も膨大になってしまいます。データ化することで資源の節約にもつながります。

結局紙とデータのどちらが良いか？

紙とデータのそれぞれのメリットを述べてきましたが、どちらにも理はあるので、絶対にこっちが良いといことはないでしょう。

・・ですが個人的にはデータで十分かなと思っております。

品質の低いシステムを生み出す要因となるのは、ルールよりもエンジニア個人の質に依存することの方が大きいと思いますし（いわゆる意識の低いエンジニア）、ひんぱんに不具合を出す人はルールを徹底しても出しますから。

だからエコでスマートなデータでのエビデンスで良いのではないでしょうか？ とは言ってもシステム開発を個人ではなく会社で請けているということであれば、会社内のルール、または上司の指示に従うのが妥当ですね。

 

おわりに

なんだかんだで消化不良な結論を出してしまいましたが、現場のルールを守ることは、仕事としてシステム開発に取組んでいる以上、とても大事なことですし、自信の身を守ることにもつながります。

とは言え、エビデンスの「紙で取るべきか？ それともデータで残せばよいのか問題」が一刻も早く終わって、データで大丈夫の一択になることを願っております。