【提案評価】定量評価と定性評価をどう使いこなしていけばよいか？|情シスコンサルティング株式会社

2022

5/14

ベンダー提案を様々な切り口で評価していきますが、具体的にはどう評価していけばいいのでしょうか？

一般的に評価とは「定量評価」と「定性評価」に分かれます。

「定量評価」とは、端的にいえば「スコアリング」のことです

ベンダーからの客観的な数値および事実をそのまま「数値化」し、評価します。

例えば、費用、稼働率、導入社数、導入期間、要求機能に対するFIT率などは、ベンダーから数値で回答が来るので、そのまま採用できます。事実なので加工することなく、客観性を保ったまま、スコアに反映できます。

一方で「定性評価」とは、数値化がむずかしいものに対する評価。つまり、人の主観的な判断です。全てが明確にOKかNGで判断できれば良いのですが、そうでない項目も多くあります。

例えば、システムが「使いやすい／使いにくい」、デザインが「好き／きらい」、ベンダーのPMが「信頼できる／信頼できない」、プロジェクトに「リスクがある／ない」などは個人の価値観に左右されます。

最終的には「定性評価」も判断基準を設けた上で「スコアリング」することになりますが、どうしても人の「主観」が入ってしまいます。採点者によって意見が分かれるため、公平性の観点で問題が出てきます。

ベンダー評価においては、「定量評価」と「定性評価」のどちらで評価するべきでしょうか？あるいは、どちらを重視すべきでしょうか？

その答えは「両方重視する」です。

つまり「定量評価」と「定性評価」の両方を組み合わせてスコアリングし、総合判断することが重要です。

では、この「スコアリング」について、もう少し考えてみます。

例えば、スコアリングした結果、A社が93点、B社が90点、C社が70点だったとします。C社は完全にナシだとしても、A社とB社が僅差です。

この結果を経営層に報告した場合、ある特定の評価項目を重視してB社に決まるかもしれません。A社とB社の差はわずかだったので、3点低かったB社が選ばれても不思議ではありません。

しかし、私はどんな状況においても、このケースはスコアが最も高かったA社が選ばれるべきだと考えます。

言い換えれば、ある特定の評価項目が重視されるなら、そのウェイトを高くし、その結果としてB社のスコアが最も高くなるように採点しなければならなかったと捉えます。

スコアは人の「判断材料」にすぎない、という点は理解しています。

だからといって、スコアと異なる判断が出るなら、それはスコアリングの質が悪かったと考えるべきです。スコアと判断は別モノとして考えてしまった時点で、思考停止しています。スコアリングする人は、より高い精度を追求して、スコアに責任をもって評価すべきです。

スコアに価値を持たせ、実際の判断を「可視化」したもの、という位置づけを死守すべきです。

そのために重要となる要素が「ウェイト」です。それぞれの評価結果に対する重みづけの設定です。このウェイトをどう設定するかで、スコアは大きく異なってきます。実際の人の判断を数値に反映できるかは、このウェイトにかかっているのです。

ウェイトこそが、評価の質に直結するといっても過言ではありません。

このウェイトは、結果から逆算して「つじつま合わせ」をするために後から設定するのでは、全く意味がありません。

社長がB社と決めたから、B社のスコアが高くなるように後から再設定するのは意味がないのです。あらかじめ、どの要素を重視するかを事前にすり合わせしておき、ベンダーから提案をもらう前にウェイトを設定しておくことが重要です。

そうすることで、後から主観が入りまくった「調整」を防ぐことにつながり、公平性も確保されます。経営層にも事前に合意したウェイトをもって算出しているため、その結果は「重く」なります。その結果を逆転させることはできますが、それ相応の「強い理由」が必要となります。

ベンダー選定は、そのシステムが社内で重要であればあるほど、「公平性」が求められます。関係者が多ければ、その大勢に対しての「納得性」が必要にもなります。

一般的にプロジェクトは、ベンダーが決まってからが大変になります。特にBPRを要する大きなプロジェクトは、多くの課題に立ち向かうことになります。そのため、関係者が前向きに動機づけられ、プロジェクトメンバーが積極的に動ける環境づくりが欠かせません。

そのプロジェクトをきちんとスタートさせるためには、ベンダー選定結果に「公平性」と「納得性」が求められます。

そのためには、「定量評価」と「定性評価」をあらかじめ適切な「ウェイト」で設定しておくのです。

そして、判断に直結するように、責任をもって「スコアリング」していく必要があります。

PREV ALL NEXT