毎日のように新しいニュースが発表される LLM (大規模言語モデル)界隈です。特に、 ChatGPT に相当する言語モデルが利用できる OpenAI の GPT-3.5-turbo API が公開されてからは、格安で無制限に ChatGPT ができる LINE Bot が公開されたり、ノンプログラマーでも ChatGPT を活用したアプリケーションの開発ができるようなツールが発表されたりと、 LLM 界隈は忙しいです。
しかし、実際のところ開発には余り興味がない、言い方を変えると自分たちの業務にとって脅威となる可能性を捨て切れていない人たちからすると、新しく使用できるツールが増えた訳でもないので、将来予測やビジネスへのインパクトといった議論、識者の意見、社会問題に対する感情的な議論に軸足がうつっているように思います。
それはそれで重要なことなのですが、せっかくなので API を利用できるエンジニアでありつつ、そういったビジネスの議論にも参加する（エンジニアの言うところの超上流工程）コンサル的立場として実験を行ってみました。
API とは、Application Programming Interface の略で、アプリケーション（プログラム）を開発するための基本的な機能の提供を行う仕組みとなっています。 Windows であれば Winodows OS 上のプログラムを作成するための API がありますし、 iOS には iOS のAPIがあります。
とはいえ、ネット上のニュースで話題になる API は通常 Web API と呼ばれるものです。この Web API もアプリケーションを開発するための機能の提供を行いますが、オフラインで提供される OS などの API と異なり、オンライン・Web 経由でデータのやりとりを行うことができます。
これにより、ネット上の優れた機能、例えば Google のサービス、検索や地図。そして 学習済みの優れた AI の機能が利用できるようになります。特に例に挙げたようなシステムはコンピュータ技術が高度に発展した現在においても、手元の PC や、スマートフォン内に全ての機能を内蔵することはできません。
そのため、多大なハードウェアに投資を行える企業から機能と同時にコンピュータ資源を借りることができる Web API が非常に便利で、かつ新しく優れた API が公開されると一気に様々なアプリケーションの開発が進むというわけです。
- 中小企業診断士、2021年12月登録
- 元は Web 系エンジニア
- 中学時代に所謂「人工無能」のプログラム（写経）を通してAIに興味を持つ
- ただその頃は AI 研究なんて……という時代だったので諦める
中小企業診断士について
中小企業庁に認定される中小企業支援の支援を行う国家資格。素の ChatGPT に聞いてもいないのに何故か国家資格ではないと断言されてしまうくらい悲しい国家資格。
一応、仕業に分類されているが、独占業務がない。悲しい。
その割には日経新聞の記事によれば、 AI に代替される可能性が 0.2% と非常に低いことで話題になりました。
https://www.nikkei.com/article/DGKKZO21422780S7A920C1TCJ000/?unlock=1
そうはいっても、この記事は 2017年。ChatGPT の元になっている、GPT のさらに元になるTransformer と同時期に発表されたものであり、当然現在のような LLM は一切考慮に入っていません。
ということで、中小企業診断士の 2次筆記試験を、AI の機能をフルに利用（つまり ChatGPT という制限された状態ではなく、APIを活用して）して解かせてみます。
中小企業診断士の試験問題について
中小企業診断士の試験は、1次試験、2次筆記試験、2次口述試験の3回が行われます。2次口述試験は実際にはよほどのことがなければほぼ落ちない（欠席なども含めても合格率が非常に高い)と言われていますので、実質的には1次試験と2次試験です。
割と言われるのが、1次試験問題だけを見て、「こんなの簡単だよ、そういう仕事に就いていれば簡単に解ける」というパターンです。確かに筆者も、情報の試験は勉強なしでも余裕でした。
ただ、本番は2次試験で、こちらは偉い診断士の先生の実例をフィクションに加工して実際に診断活動（コンサルティング活動）を行うという内容になっています。事例の文章の中から問題や課題を見つけ、更に問題の文章の意図も正確に理解する必要があります。実際、事例文章を斜め読みして「理解した」と思っても（試験を受けていない人は特に）、設問の意図を取り違えたり充分な検討を行えなかったりといった、知識や判断力だけではなく「きちんと相手を理解する」能力が求められる特徴があります。多分、口述試験もこの「話をちゃんと聞けるか」という点を見るという体でやっていると思います。
そのため、本屋などでさらっと問題をみただけで感じる難易度と実際の難易度の乖離が大きいように思います。
ちなみに、診断士という名前から、状態がいいか悪いかを診断するだけ、と思われがちですが、何度かの見直しの後で現在は診断して助言活動を行うことも含められています。さらに現在では「伴走型支援」と言われ、いわゆる顧問としてのコンサルティング活動を行うように、全体的な流れが変わっています。
筆者は自身が中小企業診断士なので、望ましさバイアスもあり「試験は難しいんだよ！ 大変なんだよ！」と言いがちですが、だからといって合格した人が皆、優秀なコンサルタントになるかというと、正直なところ微妙だと感じています。
上記で「相手を理解する」と言いましたが、それは試験での話。実際に仕事で会ったり、研究会活動で会ったりすると、相手の話を聞かない。特に筆者は見た目が若く見える関係で侮られがちということもありますが、何を言っても自説を曲げない、改善点を問うても答えないといった、とてもではないですが経営コンサルタントとしても、通常の社会人としても有能とは言い難い人がいることも事実です。
実際に会ったことがある社長さんの中には、「商工会から紹介されたけど、中小企業診断士なんて宛てになった試しがないよ」なんて言われたこともあります。筆者がその考えを覆せたかどうかは、分かりませんが。
使用する中小企業診断士の試験
ここでは、ネット上に公開されている過去問から令和4年度の2次試験、事例1を用いてみます。最新のものにしたのは、この試験問題が、GPT-3.5-turbo の学習に含まれていないこと、もちろん回答例などが含まれていないことを重視したためです。
GPT-3.5の学習情報は2021年頃までと言われていますし、ChatGPTが公開されたのも2022年の11月。追加で学習が行われていたとしても、充分な学習量ではないと思います。
この試験問題を OpenAI の Embedding API を用いて Vector 化し、質問文を Query として問題を解かせてみます。
なお、ChatGPT の大きな特徴としてチャットとして一連の流れを文脈としてとらえる機能があります。これを Memory として再現することもできますが、今回の実験では敢えてそれを避けました。
なぜかというと、中小企業診断士の2次試験のテクニックとして、「違う設問で同じ問題文を使わない」というものと、「設問を1から順に解かない」というものがあるからです(2のテクニックは私は使いませんでしたが)。
これらのテクニックを「教え込んで」回答させることも可能ですが、フラットな状態での解がどうなるかというのを実験したかったからです。
試験問題を解かせてみると、衝撃の結果が！
では実際に動かした結果を出してみます。使用したコードについては後日、記事を出します（Embeddingとの組み合わせをやっていたら思ったより面白い結果が出たから急遽非プログラマー向けの記事にしたとかそういうわけではないです）。
まずは動作確認
設問ではないですが、動作確認ということで。人間でもちょっと質問の意図に迷うようなざっくりした内容です。
取引先からの要求については、2ページ目の複数の段落に分かれて記載されています。「主要な取引先」と新規に取引が開始された「大手中食業者」です。該当する内容が抜き出されていますね。
ただし（質問がざっくりとはいえ）、設問で要求されていない「取引の結果」が含まれてしまっています。試験であればマイナス査定でしょう。聞かれていないことを書くのは、それが正しくても試験では誤答となりますし、コンサルティングの現場でも「いやそんなことは聞いてないんだよ」とイライラされる原因となります。
問1. A 社が株式会社化（法人化）する以前において、同社の強みと弱みを 100 字以内で分析せよ。
設問のポイントとしては、文字数、時制、強みと弱みという伝統的な SWOT 分析による価値観です。
A社の強みは、幅広い品目の栽培・販売に取り組んでいることであり、特に苺の栽培においては高い糖度と大粒で形状や色合いが良く、人気を博していたことが挙げられる。また、地元の百貨店や菓子メーカーとの連携により、地域の特産品として認知度を高めていた。一方、弱みは、従業員の定着が悪く、人手不足が顕著になっていたことや、明確な役割分担がなされておらず、需給調整の問題が生じていたことが挙げられる。
文字数：193 ×
時制：○
内容：△
字数が大きく上回っているため、内容については評価が難しいところですが、脅威である季節や天候は含まれておらず、また中食業者との取引における変化に言及がないため、時制については理解されていると考えていいと思います。
文字数については、設問の回答に対して、さらに要約を要求することで圧縮も可能であると考えられ、また試験ではなくコンサルティングの現場として考えれば、資料からこの要約が上がってくればアシスタントとしては充分活用できるのではないでしょうか？（ていうか令和4年難しいですね、私合格できる気がしないです）
問2. A 社が新規就農者を獲得し定着させるために必要な施策について、中小企業診断士として 100 字以内で助言せよ。
いきなり分析ではなく助言が来ました。
A社が新規就農者を獲得し定着させるためには、働きやすい環境を整備することが必要です。具体的には、労働時間の見直しや、休暇制度の充実、社員同士のコミュニケーションを促進する取り組みなどが挙げられます。また、新規就農者に対しては、農業技術の研修や、経営に関するアドバイスを提供することで、スキルアップを支援することも重要です。さらに、地域の農業関係者との交流イベントなどを開催することで、地域に溶け込みやすい環境を整えることも必要です。
文字数：216 ×
内容：×
文字数については、丁寧すぎる表現（働きやすい環境を整備することが必要です。具体的には、）などを削れば改善されると考えられます。定着率に関する記述は6段落目、7段落目にあります。
労働時間の見直しはいいとは考えられますが、台風などの「突発的な対応」への対策が「休暇制度」ということかと考えられますが、少し軸がぶれています。コミュニケーションに言及するのはよい着眼点ですが、「地域の農業関係者」と「従業員」を完全に分離してしまっているのも問題です。ここは人間でもかなり難しい気がしますが…。
また、農業技術の研修はもちろん必要ですが、経営に関するアドバイスは不要ですね。経営に関する問題の文章であるということが「認識」されているような回答なのが興味深いですが……。
MECE的な観点で言えば、重複が多すぎますね。
問3. A 社は大手中食業者とどのような取引関係を築いていくべきか、中小企業診断士として 100 字以内で助言せよ。
普通に難問ですね……。A社は中食業者との取引で安定した収益を得られている一方、複数の新たな課題を抱えています。大きく分けて、「新たな品種の栽培(新製品)」「売上の依存」です。また、要求水準の高さについても言及されていますが、何に対する要求水準なのか？ が明確ではありません。
A社は、大手中食業者との取引を継続することで安定的な収益を確保する一方、新たな品種の生産にも力を入れる必要があります。また、大手中食業者からの要求水準に対応するため、品質管理や生産管理の強化が必要です。さらに、大手中食業者以外の販売先も開拓し、事業の多角化を進めることで、リスク分散を図ることが重要です。
文字数：152 ×
内容：△～○
凄いなと思われるのが、「売上の依存が高い」という点を明確にリスクとして判断し、事業の多角化に言及している点です。とはいえ、診断士試験では単に「多角化」という表現では評価されづらく、アンゾフの成長マトリクスに則った表現が好まれます。
とはいえ、「要求水準」についても明確ではないにも関わらず、忙殺されている点と、過去の強み・弱みの記述を踏まえて生産（デリバリー）と品質（クオリティー）に言及している点は評価できると思います。
問4-1. 今後の戦略展開にあたって、A社は今後の事業展開にあたり、どのような組織構造を構築すべきか、中小企業診断士として 50 字以内で助言せよ。
設問文が大問と小問に分かれているので日本語が少しおかしいですが、筆者による加工。これは正直、ある程度知識を問う問題と言えます。
A社は、人手不足や業容の拡大に伴う経営の複雑化に対応するため、明確な役割分担を行い、従業員の定着を促す組織構造を構築する必要がある。また、後継者の育成や新たな分野への挑戦に向けた人材の確保も重要である。
文字数：101
内容：×
これはちょっと意外というか、その「明確な役割分担を行う組織構造ってどんなの！？」と言いたくなるような、そんな回答ですね。地頭がよくて課題を認識し、解決方法も理解しているんだけど、知識が不足しているような。本来なら、知識で言えば大多数の人間よりも豊富なはずなんですが。
また、どうしても余計な情報をいれてしまいますね。従業員の定着や人材確保については組織構造ではありません。とはいえ、後継者の育成は組織構造によって実現できるので、全くズレているかというとそうでもないように思います。
問4-2.現経営者は、今後 5 年程度の期間で、後継者を中心とした組織体制にすることを検討している。その際、どのように権限委譲や人員配置を行っていくべきか、中小企業診断士として 100 字以内で助言せよ。
後継者を中心とした組織体制に移行する際には、現経営者が持つ経営権限を明確に後継者に委譲することが重要です。また、人員配置については、後継者が経験不足である場合には、現経営者や常務がサポートすることが必要です。さらに、従業員の役割分担や業務プロセスの見直しを行い、効率的な組織運営を目指すことが重要です。
文字数：151 ×
内容：○
後継者は常務の娘であり、農業については門外漢であるということがまず重要です。そして、一般論として、経営権を移譲する際に先代が経営に口出しをしすぎてしまい、組織が機能不全に陥るという失敗例が多くあります。
その点において、権限の移譲と後継者に対する（農業面での）サポートは重要です。また、時制についても、「今」人員配置を変えるのではなく、「その際」という点を意識しているように見えるところもいいと思います（とはいえ、この設問だと5年かけて変更していくようにも読めるので……ちょっと悩みますね）。
その他の人員配置についても、後継者の手がける事業について、生産者との兼務が課題としてあげられているので、無関係とも言えませんからいいでしょう（多分本試験では4-1での言及になると思いますが）。
終わりに
まあ、試験には受かりませんね！ 文字数が大幅にずれていますから。
ただ、設問文全体を俯瞰して「問題文のどこが設問に割り当てられるか」という、試験ならではのテクニックを使わずにここまでの回答が出てくるのは驚きを禁じ得ません。
OpenAI の API を使うと、音声の文字起こしや文章の要約も可能ですから、中小企業診断士が代替される可能性は 0.2%と言わず、20～40%くらいはあると言えるのではないでしょうか？
一方で、明確に ChatGPTが苦手と見える部分がありました。それは、「組織構造」のように、人間であれば図で直感的に理解できる構造についてはどうやら学習が不十分なように見えます。代表的な組織構造（機能別組織、事業部制組織、マトリックス組織など）については、文章による定性的な表現も可能なはずなのですが、何故か得意なはずの一般論も出て来ません。また、全体の大きな文脈（経営者に対するアドバイス）と、細かな文脈（新規就農者に対する施策）についての混乱も面白いところです。
GPT という仕組み上、単語の意味を理解している訳ではないということを考えると、組織構造について言及された文章が少ないという点や、文章全体としては新規就農者に対する助言やアドバイス、判断といった部分がないことが原因かもしれません。
とはいえ、うかうかしていると「人の話を聞かない」診断士の仕事は、 AI に奪われる。そんな日がやってきそうですね。
