AIが書いた記事のチェック項目を22件まで増やしたが、記事は良くならなかった

確認のたびに、チェックリストは伸びていく

AIや外注に作業を任せると、人の仕事は確認に寄っていきます。書くのはAI、直すのもAI。人がやるのは、出てきたものを見て通すか戻すかの判断です。

そして問題が起きるたびに、確認の項目が増えます。伏せるべき名前が残っていた。数字の意味を取り違えていた。一度起きたことは二度と起こしたくないので、リストに1行足す。足した項目を消す機会は、ほとんどありません。

このブログでも、同じことをやっていました。公開前のチェックリストに項目を足し続けて、確認は厚くなる一方でした。厚くした分だけ記事が良くなっているなら、それでよかったはずです。

ある記事を1本書くのに、かかった手間を数えてみました。本文はおよそ2,000字。AIのレビュー役とのやり取りが63往復。レビューの判定が30回。

しかも人が見る確認項目は、その作業の最中に15件から22件に増えています。増やしながら回していました。指摘が出るたびに項目を足し、足した項目がまた指摘を生む。

時間をかけた実感はありました。ただ、記事が良くなった実感がありませんでした。確認は増えているのに、成果物は変わらない。ここが出発点です。

30回の判定を、別の物差しで数え直しました。「世に出ていたら実害が出たか」です。

30回のうち、実害につながるものは4〜5件でした。伏せるべき業種が残っていた。数字がどの集合のものかを取り違えていた。根拠が支える範囲を超えて言い切った文もありました。この種類の指摘は、公開してからでは取り返しがつきません。

残りの25件ほどは、言い回しの好みの範囲でした。この語尾は単調ではないか。この言い換えは回りくどくないか。直せば違う文にはなりますが、直さなくても実害は出ない。

指摘が多いことは、危なかったことを意味しませんでした。数えるまで、この二つの区別がついていませんでした。なお、一つひとつの指摘をどう受けるかは別の話です。指摘を鵜呑みにせず、どう採否を決めるか。そちらは別の記事に分けます。

確認のコストがどこから来たのかを整理すると、3つありました。ルールの中身ではなく、当て方の問題です。

一つ目。検査が「完成してから出す」前提で設計されていたのに、実物の記事は書きながら直っていきます。一語直すたびに、22項目の確認とレビューがやり直しになる。完成品を検品する形を、動いているものに当てていました。

二つ目。記事という成果物に、内部文書の基準を当てさせていました。レビュー役は依頼どおりに働いています。設計文書に使う厳密さで記事を見てほしいと頼んだのはこちらで、誤っていたのは依頼の側です。

三つ目。語調や言い回しという好みの判断を、検査役に投げていました。そこは仕組みの問題というより、作り手が決める領分です。判断を外に投げれば、投げただけ指摘が返ってきます。30回の判定の大半は、こうして自分で発注したものでした。

人が確認する項目は、実害が出るものだけに絞りました。22件が13件です。残したのは、名前や業種が残っていないか。その数字がどの集合のものか。言い切りが根拠を超えていないか。世に出たら取り返しがつかないものだけを人が見る。検査は1パスで、何巡もしません。

外した9件は、消したわけではありません。読者に渡すものがあるか、言い回しが不自然でないか。この種類の確認は、チェックリストから外して、書き方のルールのほうに残しました。書くときに読むものであって、公開前に一つずつ答えて記録するものではない、という置き直しです。

機械が数える側は、人のゲートとは別に広げました。読点の多さや一文の長さ、語尾の重なりは、もともと数えていた分です。そこに、段落の頭に偏る接続詞と、同じ書き出しの連続を足しています。人は判断に、機械は計数に。それぞれ向いているほうを持つ形です。

減らした結果、やり取りが何往復になったか。それはまだ測れていません。次の1本で数えるつもりです。

確認項目を減らすのは、手を抜くことに見えます。実際にやったのは、数えて基準を決め、どこで見るかを決め直すという別の仕事でした。

もし手元に伸び続けているチェックリストがあるなら、項目ごとにひとつ数えてみてください。その項目が最後に実害を防いだのは、いつだったか。

すぐ答えられる項目は、残す理由がはっきりしています。答えられない項目は、成果物のためというより、安心のためにあるのかもしれません。安心にも居場所はあると思います。ただそれは、成果物を良くする仕事とは別の仕事です。