プロンプトの作法 第7回 — 検証の設計。前回は「読み手を指定する」を扱った。今回は、AIが書いたことを信じてよいかどうかを、自分で確かめられる形で出させる
生成AIは、もっともらしい文章を書くのが得意だ。そして、もっともらしいことと正しいことは違う。AIは手元にない事実を、それらしく補ってしまうことがある。だから使う側に必要なのは、AIを疑う態度ではなく、AIに「どこから言っているのか」を毎回示させる習慣である。根拠が示されていれば、人は短時間で確かめられる。
AIの出力の一文一文は、性質の違う三種類に分けられる。渡した資料に書いてあること(根拠あり)、AIが一般的な知識として述べていること(出典の確認が必要)、AIが資料から推し量ったこと(推測)。困るのは、この三つが同じ口調で混ざって出てくることだ。分けて書けと指示するだけで、確認すべき箇所が目に見えるようになる。
「お客様の冷蔵庫は使用開始から8年が経過しており、コンプレッサーの寿命が近づいています。交換をお勧めします。」——どこまでが記録で、どこからが推測か分からない。
「【記録】2018年納入、2025年8月にコンプレッサー修理。【記録】前回点検メモに霜取り不良の記述あり。【推測】同種の不具合が再発する可能性がある。【要確認】交換の要否は技術者の点検による。」
第一に、答える範囲を資料に限定する。「以下の資料だけをもとに」と書き、資料にないことは「資料に記載なし」と答えさせる。第二に、根拠の場所を指させる。どの資料の、どの部分に書いてあるかを示させれば、人は元の文書に戻って一分で確認できる。第三に、確信の度合いを言わせる。言い切れること、推測であること、分からないことを区別させる。
そしてもう一つ、使う側の原則がある。AIの出力そのものを出典として扱わない。AIが「〇〇白書によれば」と書いても、それは白書の原文を確かめるきっかけにすぎない。数字や制度を顧客や社内に伝えるときは、必ず元の資料に当たる。本誌がすべての記事で一次資料の出典を明記しているのも、同じ理由からだ。
顧客への案内や提案の下書きでは、まずこれを使う。「資料に記載なし」が出てきた箇所こそ、担当者が自分の知識で補うべき場所だ。AIに埋めさせてはいけない。
自分が書かせた下書きを、AI自身に仕分けさせる使い方だ。最後の一覧が、そのまま人間の確認リストになる。送信前のチェックが「全文を読み直す」から「数行を確かめる」に変わる。
AIは、頼まれた方向の根拠を集めるのが得意だ。だから提案の前には、あえて反対側を探させる。反証が見つからなければ自信を持って提案でき、見つかれば言い方を弱められる。どちらに転んでも、顧客との関係は守られる。
根拠を出させる作法は、AIを疑うための技術ではない。人が短い時間で責任を持てるようにするための技術である。資料の範囲に限らせる、根拠の場所を指させる、確信の度合いを言わせる、反対の根拠を探させる。どれも一行の指示で済む。そして最後に確かめるのは、いつも人間だ。
次回(第8回)は、AIとのやり取りで得た知見を次に引き継ぐ方法——「記憶させる作法」を扱う予定である。