AIの指摘を実物で確かめて、確かめた気になっていた

AIから指摘が来たらまず実物を開いて確かめる

月のレポートや出したばかりの見積もり、書いた文章。AIに見せると指摘が返ってきます。「この数字は集計の範囲が違います」「この書き方だと相手に誤解される」など。そのうち何件かは事実を確かめないと採否を決められません。

やることは指摘された箇所と元になったデータを開いて、書いてあることを確かめる。合っていればその指摘は正しい。ここまではふつうの手順です。

先日この手順で誤った指摘を一つ通しました。

取引先の名前を伏せて書いた文章に、こういう指摘が返ってきました。名前を伏せてもこれまで公開してきた情報と重ねれば、どこの話か分かってしまう。

弊社のサイトには、伴走パートナーや事例として公開しているコンテンツがあります。そこに載っている条件と文章の中の条件が重なると、読む人はどこの話か絞り込めてしまうという筋です。

指摘を受け取ってすぐ、その公開ページを開きました。載っている条件は指摘が言うとおりでした。それで裏が取れたと判断しています。

この指摘はあとで取り下げられました。

すでに公開しているコンテンツは見せるために選んだ一部です。選ばなかった情報は、サイトには出ていません。

AIはそれを知りません。渡されたのは公開しているコンテンツで、その中だけで指摘を組み立てています。「これで情報は全部だ」という条件が、指摘の中に黙って入っていました。

そして裏を取りに行った先も、同じ公開ページでした。

気づけなかったのは確認が甘かったからではありません。書いてあることは確かめて、そのページで全部と言えるのかは確かめなかったからです。

しかも「開いて確かめた」とAIに言い添えたぶん、その指摘には確認済みの札が付きます。誤った指摘そのものより、こちらが足した裏付けのほうが厄介でした。

鵜呑みにするのは危ないと分かっていながら中途半端に裏を取るほうが危なかった。

指摘の数を減らした話は、AIが書いた記事のチェック項目を22件まで増やしたが、記事は良くならなかったに書いています。こちらは届いた1件の確かめ方の話です。

渡した資料の中に無い事実は、その資料からは確かめられません。直近3か月ぶんだけを渡したなら、渡していない月の出来事は、その外にあります。広告の管理画面だけを見せたなら、店頭で売れたぶんも外です。

だから開いて確かめるときに見るのは、書いてあることが合っているかどうかだけではありません。その資料だけで、その結論まで言えるのか。足りないなら、足りないと言えるかどうかです。

今回はっきりしたのは、確認したという手応えが確認の中身と切り離して立ち上がることです。開いた、書いてあった、それだけで裏が取れた気になります。

AIに何かを見せている方に渡せる問いが一つあります。直前にやったその確認は、書いてあることの確認で終わっていないか。

書いてあることだけなら、その指摘はまだ確かめられていません。今回、確認済みの札を付けたその1件は、あとで取り下げられました。