AIが出した内容を鵜呑みにしないための確認のコツ

AIに質問すると、数秒で整った文章が返ってきます。とても便利ですが、その内容がすべて正しいとは限りません。

行政書士の業務は、正確さがそのまま信頼につながる仕事です。だからこそ、AIの回答をそのまま使ってよいのか不安に感じる場面もあるはずです。

この記事では、AIの回答を安全に使うための確認のコツを、具体的な手順とともに紹介します。読み終えるころには、AIを「下書き役」として上手に使い分ける感覚がつかめるはずです。

要約

• AIの回答は、仕組み上もっともらしい誤りや古い情報が混ざるため、そのまま使うのは危険です。
• 事実にあたる数字や固有名詞に印をつけ、官公庁の公式情報や条文そのものと照らし合わせると、誤りを防げます。
• 整合性の確認などの下ごしらえはAIに任せ、許認可の可否といった最終判断は行政書士自身が行うのが安全です。

AIの回答をそのまま信じて、ヒヤッとした経験はありませんか

AIに条文の説明や手続きの流れをたずねると、自信たっぷりの文章が返ってきます。読んでいると、いかにも正しそうに見えてしまいます。

AIの回答が正しそうに見えても、そのまま使うのは不安が残ります。

ところが後で調べ直すと、古い制度のまま説明されていたり、存在しない条文が引用されていたりすることがあります。これに気づかず資料や案内文に使ってしまうと、依頼者からの信頼に関わります。

「便利だから使いたい。でも間違いが怖い」という板挟みは、多くの行政書士が感じているところです。この不安の正体を知ることが、上手に使う第一歩になります。

なぜAIはもっともらしい間違いを出すのか

AIは、意味を理解して答えているわけではありません。大量の文章から「次に来そうな言葉」を予測して並べているだけです。

そのため、事実かどうかよりも「自然な文章に見えるか」を優先してしまう場面があります。この仕組みから生まれるもっともらしい誤りは、専門的に「ハルシネーション」と呼ばれます。

さらに、AIが学習した情報には時期の区切りがあります。法改正や様式の変更が学習後に行われていれば、AIは古い内容のまま答えてしまうのです。

AIの回答を確認するための基本の考え方

大切なのは、AIの回答を「答え」ではなく「たたき台」として受け取ることです。最終的な正しさは自分で確かめる、という前提を持つだけで、リスクは大きく下がります。

私はこれまで、クライアントの言いたいことを聞き取って文章の形に整える、代書に近い仕事をずっと続けてきました。その経験から感じるのは、AIはたたき台づくりや抜け漏れの確認には役立つ一方で、最終的に何が正しいかを決めるのは人だ、ということです。

確認の軸は、大きく分けて三つあります。「情報が新しいか」「出典が確認できるか」「自分の専門知識と食い違っていないか」です。

この三つを毎回チェックする習慣をつければ、AIの便利さを保ちながら誤りを防げます。次の章で、実際の手順に落とし込んでいきます。

回答を確認する具体的な手順

まず、AIの回答をそのまま貼り付けて使わないと決めておきます。必ず一度、自分の目でチェックする工程をはさみます。

事実にあたる部分に印をつけ、一次情報で裏を取る流れが確認の基本です。

次に、回答の中の「事実にあたる部分」に線を引く感覚で印をつけます。たとえば「申請期限は◯日以内」「必要書類は◯点」といった、数字や固有名詞を含む記述です。

そのうえで、印をつけた部分を一次情報で照らし合わせます。官公庁の公式サイトや、所管する法令の条文そのものが一次情報にあたります。

具体例で見てみます。AIが「この許可の有効期間は5年です」と答えたとします。この場合は、その言葉を信じるのではなく、所管庁のページで有効期間の記載を直接確認するという流れになります。

もしAIが条文番号を挙げてきたら、その番号を検索し、条文が本当に存在するかを確かめます。番号や条文名が実在しない場合は、それだけで回答全体を疑う理由になります。

私はこれまで、AIやツールが出した結果を、以前から見てきたデータのパターンと照らし合わせて「おかしくないか」を確かめる仕事を続けてきました。行政書士の申請でも、複数の書類のあいだで住所や氏名、日付が食い違っていないかを機械的に確認する部分は、AIの下ごしらえが向いています。

ただし、その申請が制度としてとおるかどうかの判断は、行政書士自身の領域です。整合性の確認はAI、可否の判断は人、という分け方が現実的だと感じています。

確認するときにつまずきやすいポイント

よくある失敗は、AIに「これは正しいですか」と聞いて確認を済ませてしまうことです。AIは自分の誤りに気づけないため、間違った内容を「正しいです」と肯定してしまう場合があります。

確認の相手は、AIではなく必ず外部の一次情報にします。AI同士で答え合わせをしても、確かさは増えません。

もう一つ注意したいのが、回答の一部が正しいと、全体まで正しく見えてしまう点です。前半が正確でも後半に誤りが混ざることは珍しくないので、部分ごとに区切って確認します。

そして、許認可の可否や法的な判断そのものをAIに委ねないことが大切です。AIはあくまで情報整理の補助であり、最終的な判断は行政書士自身の専門性に基づいて行うものです。

AIの確認についてよく寄せられる質問

Q: 確認に手間がかかるなら、AIを使う意味はあるのでしょうか

A: 確認は必要ですが、ゼロから書くより速く進みます。AIに下書きや構成を任せ、自分は事実確認と仕上げに集中する、という分担が効率的です。作業全体で見れば、時間はしっかり短縮できます。

Q: どんな作業ならAIをそのまま使っても比較的安心ですか

A: 事実の正確さが問われにくい作業は、比較的そのまま使いやすいです。文章の言い換えや、案内文のトーンをやわらかくする作業などが当てはまります。一方で、期限や書類、条文といった事実を含む部分は必ず確認します。

Q: 有料のAIを使えば、間違いは減りますか

A: 高性能なAIほど誤りは減る傾向がありますが、ゼロにはなりません。仕組み上、もっともらしい誤りが混ざる可能性は残ります。どのAIを使う場合でも、一次情報での確認は続けるのが安全です。

AIを味方につけるために

AIは、正しさを保証してくれる道具ではなく、下書きを速く用意してくれる道具です。回答は「たたき台」、確認は自分の役目と切り分けることが、安心して使うための鍵になります。

下ごしらえはAI、最終判断は人と切り分けると、安心してAIを使えます。

確認の軸は、新しさ・出典・自分の知識との食い違いの三つでした。事実にあたる部分に印をつけ、官公庁の公式情報や条文そのものと照らし合わせる流れを習慣にします。

私がAIを仕事に取り入れるとき、いちばん大事にしているのは、AIに任せてよい範囲と、人が自分で判断すべき範囲の線引きです。許認可や法改正のように、間違いが依頼者の不利益に直結する部分は、AIの下書きをうのみにせず、必ず人が確かめます。この一線を最初に決めておくと、安心してAIを使えます。

まずは次にAIを使うとき、回答の中の数字と固有名詞だけでも一次情報で確認することから始めてみてください。小さな一手間が、依頼者からの信頼を守る大きな差になります。

参考・出典

• 日本行政書士会連合会: https://www.gyosei.or.jp/
• e-Gov法令検索（デジタル庁）: https://laws.e-gov.go.jp/