2021年11月公開・2023年1月更新
最近、Watson AssistantよりWatson Discoveryに触れる機会が増えました。
Watson Discovery（ワトソン・ディスカバリー）とは、HTMLページやPDFマニュアルなどの文書・ファイルに記載されているテキストをIBMのAI・人工知能の検索技術によって、検索できるシステムです。検索だけではなく、テキスト・マイニング、コンテンツ・マイニングにより文書に書かれている傾向などをレポート化できる、洞察を得られるシステムです。
チャットボット、自動応答で使われる「Watson Assistant」より、「Watson Discovery」に触れる機会が多くなった背景としては、自動応答・チャットボットのご依頼以上に、AI文書検索のご依頼が多くなったことがあります。ある意味、DXが進んでいる証拠ですね（この部分は後日）。
わたしたちの支援業務も、『数百問の自動応答を精度高く作る支援』に加えて、IBM Watson DiscoveryとCogmo Search（コグモ・サーチ）を使って『数千、数万、数十万のファイルから最適な検索』ができるかを検証するPoCに伴走しながら、お客様のご要望にあったUI/UXの検索システムを作る業務が増え、半分を超えました。
ところで、AI文書検索とはどのようなご相談かというと、
などを解決したいご相談です。
このようなご相談の解決方法はさまざまありますが、共通するシステムの基本構成は、「AI文書検索エンジン」「検索UI機能」「文書クローラー」の3つです。
良いシステム導入のポイントは、
AI文書検索エンジンとは、いままでの検索エンジンの検索方法が変わった（AI機能が入った）というだけのものです。機械学習とか無視してOKです。
「検索方法が変わった」のひとつめが、「単語」または「単語 単語」という検索文はもちろんですが、「●●を■■したい」というような、自然文の検索文でもきちんと検索できることになります。
皆様のWebサイトやイントラサイトの検索窓で「●●を■■したい」と検索してみてください。「●●」や「●● ■■」と検索した場合より、検索結果の数が減っていたり、0件だったり、検索結果内容があまり望ましくなかったりすると、それは旧来の検索方法になります。
この理由は、ふたつです。
ひとつめは、検索文を単語要素に分解できるかどうかです。
例えば「AI文書検索のロジックを知りたい」という検索文を入れた場合、「AI」「文書」「検索」「ロジック」という単語要素に分解できるかです。出来ない場合は、「AI文書検索のロジックを知りたい」という文字列と完全に一致するものを探しに行きます。ところが、お客様に説明する文章には、「AI文書検索のロジックをご説明します」という文字列はあると思いますが、「AI文書検索のロジックを知りたい」という相手方の気持ちの文字列はないので、検索に引っかからないということになります。
ふたつめは、単語要素に分解できても、その単語間の関連性を持っているかということになります。
（少しだけ難しくなるのですが、）先ほどの例で言えば、「ロジック」は「文書」のロジックではなく、「AI」のロジックでもなく、「検索」のロジックを人は知りたいと思っています。
「検索のロジックを知りたい」がメインの文で、なんの検索かというと、「AIの検索」で、何を検索するかというと「文書を検索」と、「AI」と「文書」は必要なワードですが、扱いはサブ（修飾）であるべきです。このような関係性を持てるかどうかで検索結果が変わってきます。
「検索方法が変わった」のふたつめが、「キーワードのヒットした量」ではなく、検索された文章の意図を拾ってその意図にあう検索結果の順位にできることになります。
いままでの検索は、検索した単語が多くヒットしたなどで検索順位が良くなります。皆様がお使いになる検索にも、結果の並び替え機能で「マッチ順」とか「新着順」などの切替があるのがその象徴ですね。
このような検索でも問題ない場合もあるのですが、例えば、業務マニュアルや製品マニュアルなどで考えてみましょう。このようなマニュアルには、製品名やシステム名、業務名が至るところに記述されています。「●●業務 申請 取消」と検索した場合、「●●業務」や「申請」という単語はどこにでもあるので、不要なページも検索結果に出てきます。それによって、正しいページの検索結果の順位が悪くなったりします。
このような場合に、AI文書検索は文章の意図を拾ってその意図にあう検索結果を出すことができます。これは実際には「検索文とファイル内の文章の関連性」でソートをするのですが、詳しいロジックは置いておきます。
この関連性は、人が学習させることで作り上げることができます。学習させるとは、「代表的な検索文」と「正しいファイル」をクリックなどで紐付ける作業で、プログラム知識は必要ありません。紐付けが完了し学習が終わると（数分、長くて30分以内）、「●●業務 申請 取消」でも、「●●業務の申請したやつを取り消したい」でも正しい結果が上位に表示されるようになります。
以上のように、検索方法が変わったことで、ユーザが求めているページを出すこともできますし、ベテラン・熟練者が持っていた知識を検索システムにすることができます。
次回、「IBM Watson Discovery/Cogmo Searchでできること：で、結局何ができる？」でその部分、掘り下げていこうと思います。
関連記事：Watson Discoveryとは