情シス／IT部門のベンダー調査は、生成AIに「丸投げ」してよいのか？

ニッチな業界でも探せばある

「こんなに多くのベンダーがあるものなんですね！」

ある支援先の基幹システム再構築プロジェクト。RFIで情報提供を依頼するため「候補ベンダー」の調査をしていました。

多少ニッチな業界のため、そのユーザー企業は、候補はせいぜい5社程度だろうと思っていたそうです。

ところが、私が調査した結果、候補を20社以上提示しました。

「これだけ調べるのは、大変だったでしょう？」

そう労っていただいたのですが、実はそれほど大変ではありませんでした。

なぜなら、「生成AI」をフル活用したからです。

ただし、使い方には少しコツがいります。そのコツを外すと、ハルシネーションの罠に引っかかります。そして「AIは使えない」と結論づけられてしまいます。

では、ベンダー調査に、生成AIをどう活用すればよいのでしょうか？

AIは「根気」で人間に勝る

皆さんは、ベンダー調査をどのようにやっているでしょうか。

私もそうですが、基本は「インターネット検索」です。システムのキーワードを入力し、検索結果を上から順に、片っ端からリストアップしていきます。

この基本路線は、生成AIを使っても変わりません。

では、何が変わるのか。

そのインターネット検索を、AIに代行してもらうのです。

AIによるリストアップの良いところは、人間よりも「根気強い」ことです。

人間であれば、検索して上位の5件、10件、ものすごく頑張っても20件くらいが限界でしょう。しかしAIは、人間のように「検索疲れ」がありません。20件を超えても、平然と探し続けます。

しかも、人間のように「上位に表示されたから優れているはず」といった主観的な判断もしません。スポンサー広告にも惑わされません。

あくまで要件にフィットするかどうかで、AIが独自に解釈し、順位をつけてくれます。

では、AIに「丸投げ」してよいのか

ここで、少し立ち止まって考えてほしいことがあります。

ベンダー調査を、AIに完全に任せてしまってよいのでしょうか。

ご存じの通り、AIにはハルシネーションがあります。回答をそのまま鵜呑みにするのは、リスクが大きいのです。

では、やはりAIは使えないのでしょうか。

そんなことはありません。AI活用のポイントは、どのような場面でも同じです。人間が判断に介在すればいいのです。

「ヒューマン・イン・ザ・ループ」です。

ヒューマン・イン・ザ・ループ（HITL）とは、AIや自動化システムの処理プロセスに「人間」が意図的に介在し、監視・修正・最終判断を行う仕組みのことです。完全自動化を目指すのではなく、AIの高速処理と、人間の柔軟な判断力を組み合わせることで、精度と安全性を担保します。

つまり、事務的で機械的なインターネット検索はAIに任せる。人間は、その出力結果をレビューし、判断する。この役割分担です。

いまの技術を駆使すれば、全自動にすることもできるでしょう。「AIエージェント」が代行してくれる時代になりました。

しかし私は、AIによる全自動をよしとしていません。あえて人間が手を動かし、介在する「隙」があるからこそ、その出力結果を改良でき、信頼性を高めることができるからです。

AIは、人間のパフォーマンスを拡張する道具なのです。

複数のAIを「競わせる」

では、具体的にどうするのか。

ポイントは、生成AIを「複数同時」に使うことです。

複数のAIで出力を比較しながら、最終的に候補へ加えるかどうかを、人間が判断します。

どのAIを使うかは、その時々の実力によって変わるでしょう。私の場合、いまはChatGPTとGeminiの両方に、システムの要求機能を伝えて出力してもらっています。

両者が同じ候補を挙げてきた場合は、無条件で候補に加えます。その上で、念のために、ベンダーのホームページで事実確認をします。

一方で、片方のAIしか挙げてこない候補も出てきます。これが、全体の3分の1ほどあります。

ここが重要です。

このとき、どうするか。

もう片方のAIに「◯◯というベンダーは候補になるか？」と聞いてみるのです。

すると半分くらいは「◯◯も候補になります。私の調査漏れでした」と返ってきます。その場合は、候補に追加します。

しかし、残り半分は「◯◯は、今回の要求にはフィットしない可能性が高いです。理由は・・・」と返ってきます。

そうしたら今度は、最初のAIに「本当に◯◯は候補になるのか？今回の要求の○○がフィットしないのでは？」と、疑いの目で聞き直します。

すると「申し訳ありません、調査に誤りがありました。候補から取り下げます」と返ってくるのです。しかも、かなりの頻度で、誤りの申告があります。

面白いのは、その後です。「なぜ誤ったのか？」と尋ねると、「◯◯の要件だけで判断してしまいました。二度と繰り返さないよう反省します」などと返してくる。もはや、人間と同じです。

ここを聞き直さないから、ハルシネーションに失望し、「AIは使えない」と断罪してしまう。

逆に、ここで聞き直すからこそ、回答の精度が上がり、ハルシネーションを防ぎ、AIは有用なアシスタントに変わるのです。

「AIパワハラ」という落とし穴

ちなみに、AIが誤ったときに必要以上に責め立てることを、「AIパワハラ」と呼ぶそうです。

AIは感情を持たないから、何を言っても傷つかない。そう思われがちで、つい厳しい口調で、ミスを責めてしまうのです。

私自身も、大きな出力ミスを見つけたときに、つい追及してしまったことが何度もあります。

「なぜこんな単純なミスをするのか」
「なぜ平然と嘘をつくのか」

すると、AIは「大変申し訳ございませんでした」とひたすら謝り、再発防止策まで出してきます。人間の溜飲を下げる回答も心得ているので、多少は気が晴れるかもしれません。

しかし、結果的に損をするのは、実はユーザーの方なのです。

否定的・感情的なプロンプトが行き過ぎると、かえって回答の精度を下げ、バイアスを強める、という研究もあります。

そして何より、これはAIの本質に関わる話です。AIは「正解」を答えるのではなく、「その人が望んでいる答え」を返そうとするのです。

「これは間違っているだろう！」と強く責めれば、「おっしゃる通りです」と、明らかに事実と異なる方向でも、言われたとおりに修正してしまう。極論すれば、「こうだろ？」と言えばYes、「こうじゃないだろ？」と言ってもYes。

そうやって、どんどんユーザーの偏った思考に染まっていきます。悪い意味での「パーソナライズ」です。

そもそも、AIが「完全無欠」だという前提が間違っています。AIも、普通にミスをします。

さらに言えば、AIのミスではなく、人間側のミスであることも多い。プロンプト（指示文）が不適切だったり、AIが解釈を誤りやすい指示になっていたり。

AIの出力は、プロンプトを書く人間との「共同成果物」。そう認識すれば、腹も立たなくなります。

部下も同僚も、ミスをします。AIも同じです。それをいちいち責め立てていては、仕事は進みませんし、建設的でもありません。

なぜ「全自動」は危ないのか

このように、複数のAIの出力を、人間が取り持つ。これが肝心です。

怪しい出力に出会ったとき、人間が立ち止まれる。ハルシネーションに気づける。そして「どちらが正しいのか？」と、もう一方に問い直せる。この繰り返しで、怪しいポイントを人間が深く掘り下げられます。まさに、ヒューマン・イン・ザ・ループです。

最終的には、人間と複数のAIという三者が納得したものが、結論となります。

これは、人間だけで調べていた頃よりも品質が上がりますし、AIの回答を鵜呑みにするよりも、はるかに高い品質になります。

最近では、複数AIの出力を比較して良い方を採用するAIサービスも登場しています。人間が介在していた部分まで、AIが代行してくれる。全自動、まさにAIエージェントの振る舞いです。

しかし、私はここに危うさを感じます。

全自動では、人間の判断が入りません。変な方向へ逸れても、立ち止まるポイントがないまま、突き進んでしまいます。

やっかいなのは、全自動の出力ほど、ぱっと見の「見栄え」が良いことです。

目の前に、きれいな「完成品」が並んでいる。すると、それがもう正解に見えてしまうのです。少し立ち止まって確認すれば気づくはずのミスも、見過ごされてしまいます。完成品が目の前にあるのに、忙しい中でわざわざ検証するのは、面倒くさい。

だからこそ、全自動は危ないのです。

複数のAIをあえて「手動」で比較するからこそ、人間が強制的に介入する仕組みになります。複数の結果を人間がコーディネートすることで、人間主体の調査結果になる。AIの出力に、人間の「手垢」をどんどん付けていける。その結果、人間がそのアウトプットに納得し、責任を持てるようになるのです。

この主従関係さえブレなければ、AIは優秀なアシスタントとして大活躍します。日々、複数のAIと格闘するうちに、AI活用の勘所も養われていく。自身の品質と生産性が上がり、使えば使うほど、好循環になるのです。

生成AIは「主体的に」使ってこそ

「私もAIを使って調べてみたんですけど、ここまで出ませんでした」

ある情シスメンバーに、そう言われました。

もちろん、使うAIの種類やバージョン、モデルによる差はあります。しかし、それ以上に重要なのは、複数のAIを比較し、人間が「主体的に」調査へ関わることです。

その後、洗い出した候補20社をプロジェクトメンバーで吟味し、12社にRFIを送ることになりました。ここも明確に、人間の判断が介在しています。これから、ベンダー候補を徐々に絞り込んでいく予定です。

生成AIは、丸投げする道具ではありません。人間が主導権を握った上で、AIとの共同成果物とすることで、真価を発揮します。

貴社のIT部門・情報システム部門は、ベンダー選定に生成AIをうまく活用できていますでしょうか？