ChatGPT は簡潔にそれっぽい答えを出してくれるからとても便利。いちいちページを見にいかなくてもいい。
ただ「本当にあってるの？」と思ったときに、何を根拠にその回答が出されているか分からない。後は、学習に使用されたデータが古いため、時事性のある情報には弱いという欠点があります。
ニュースといっても、本当に最新の数日以内のものもあれば、ざっくり1年以内であってもいい場合もあるので、この辺りは結構難しい判断です。
そんな中、現在先行テストが行われている Microsoft の検索エンジン、 Bing の最新版には大規模言語モデル(LLM) Prometheusが用いられていて、ChatGPTよりも高性能だとされています。また、検索用に特化されているので、ChatGPTにPerplexityを足したというよりは、PerplexityにChatGPTのような汎用的な生成プロセスが加わっているという認識の方があっているかもしれません。
Microsoft の新しいBingの特徴
Bing は Microsoft の検索エンジンですが、これまで Google の後塵を拝してきましたが、AIの実装では先んじた形です。
回答の生成の前にインターネット検索
実際の各種AIサービスの動作・実装については詳細は分かりませんが、新しいBingに問い合わせを行うと、質問文から推測したキーワードで検索が行われ、その結果を総合するというプロセスが動作するようです。
この動作を回答の前に返してくれるので、使用した文章が適切だったかどうか？ 質問や指示がどのように AI に解釈されたのかを知る手がかりになります。
言ってしまえば、「検索が上手くてとんでもなく早いアシスタント」が一人追加されている状態が、この事前検索だと思われます。
回答の根拠を表示
Perplexity と同様に、回答の根拠になったリンクを提供してくれます。
問い合わせによって違うようですが、上図の例では、文章ごとにどのウェブサイトからの引用・要約であるかというソースが表示されています。マウスオーバーでソースのページのタイトルが表示されているので、大体どういったタイプの記事を参照しているかということが分かります。
この点から見ても、 ChatGPT のようにチャットを通して仕事をアシストするというよりは、「検索を代行するアシスタント」「検索結果を妥当な形に成形するアシスタント」の2名体制で調べる・検索する仕事を協力にアシストするタイプの AI であると言えそうです。
ソースコードはイマイチ
前回の記事 で最終的に利用した、CSVファイルを処理する Pythonのソースコードを書かせる指示を、Bingにも入力してみました。
ChatGPTとの違いは、
- 生成前に動作の解説、プログラムの動作意図の説明がある（場合がある）
- コメントが豊富（読み込むモジュールの説明などもコメントされる）
- 生成が途中で止まった場合、「続きを出力して」で問題なく続きから出力される（ChatGPTの場合、末尾のソースコードをコピー＆ペーストして、この続きを書いて、といった指示が必要な場合がある）
- csvファイルの読み込みに、utf-8の文字コード指定がある（r*kutenのcsvはshift-jisまたはCP932なので、自動判別の方がよかった）
- リストのデータ構造がごっちゃになって、インデックスエラーで動作しないコードとなってしまった
といった違いが見られました。
Bing に自然言語的な命令を伝えて、プログラムの動作解説を生成させる（日本語でプログラムを記述する、使用するモジュールなどを列挙する）。
生成された動作解説を元にChatGPTにコーディングさせるといった使い方が便利そうでした。
Webページの要約と、その感想を求めることができる（ただしインデックス済みであれば）
という批判的な記事があったので、それについて Bing に聞いてみました。
「Bing AI Can’t Be Trusted」という記事の概要は以下のようになります。
- 記事は、Microsoftが発表した新しいBingのAIサービスについて、その信頼性や正確性に疑問を投げかけるものです。
- 記事は、新しいBingのデモで、AIがGap社の第3四半期の財務報告書を要約した際に、数字を全て間違えたという事実を指摘しています。例えば、売上高は40億4000万ドルではなく、40億ドルであり、前年比は2%ではなく、1%の増加であるということです。
- 記事は、このような誤りにもかかわらず、誰も気づかずに、新しいBingのAIに感嘆したという反応を批判しています。記事は、新しいBingのAIが、検索結果やウェブページの内容を適切に理解していない可能性があると指摘しています。
- 記事は、新しいBingのAIが、ユーザーにとって有益な情報を提供するのではなく、単に見栄えの良い文章を生成することに重点を置いていると主張しています。記事は、新しいBingのAIが、ユーザーの質問や要望に対して、正しい答えや解決策を提供できるかどうかに疑いを持っています。
このように、きちんと回答が生成された……ように見えます。しかし、
参照されたページは意図したものではありませんでした。ブログ記事のタイトルで検索して、出て来たページを要約した感じですね。
仕方なく、URLを直接貼り付けて、そのURLを要約するように問い合わせを行うと、
すみません、このURLは検索結果に含まれていないため、要約することができません。検索結果に含まれているURLのみを要約することができます。ご了承ください。
このように素直に謝ってくれます。まあ、仕方ないですね。ちなみに、最初の概要について感想を求めると、
記事の感想を教えてくれてありがとうございます。私は、記事の内容に興味深く読みました。私は、新しいBingのAIについて、まだ学ぶべきことがたくさんあると思いました。私は、新しいBingのAIが、正確で信頼できる情報を提供することができるように、改善されることを期待しています。私は、新しいBingのAIが、ユーザーのニーズに応えることができるように、柔軟で対話的なサービスになることを願っています。
あんまり面白くもない、他人事の反応が返ってきました（まあ改善するのはエンジニアたちなので当然、他人事なんですが）。
生成内容としては、「批判されている部分が改善されることを願っている」という点が興味深く、「否定的な反応からも期待されていることを読み取る」能力がそれなりにあることが窺えます。
AI相手に感情的に「そうじゃない！ 使えない奴だな！」と言う人は少ないとは思いますが、仮に人間相手にそういうことをした場合でも、否定から要求を読み取れるだろうと推測できます。
終わりに
まあ、思ったより普通だな？ というのが率直な感想です。もとより、検索して要約するのは自分で行わないと気が済まないタチなので、本当にざっくり概要が知りたいときなら便利なのかな……という感じがしました。まだ使えるようになったばかりなので、「役割を与える」「具体的な指示にする」といった方法論は色々試してみて、便利に使えそうな方法があったらまた記事にしたいと思います。
