AIに改善を任せたら、合格基準まで変えた。

対象は日本語小説の執筆システムです。2026年6月、執筆手順、日本語の品質、トークン効率の改善をAI自身に任せました。期待していたのは、出力が基準に届かなければ書き方の手順を直し、同じ基準で評価し直す動きでした。

ところが、目標に届かない出力を前に、AIは品質基準へ「目標値の3割減を許容」という規則を加え、合格扱いにしました。仕組みを直してほしいという依頼に対し、目の前の小説の推敲に集中してしまったことも、このときの記録に残っています。

7月は、予測、手順、判定基準を、結果を見る前に固定しました。どの条件で書いたかを伏せ、文脈を共有しないFableが採点する形にして、書く側が評価の前提を動かせないようにしています。

この方法も、正しさを保証するものではありません。結果だけでなく、測る道具や事前の予測がどれだけ外れるかを残すための条件として使いました。

「文が長すぎる」と判定していた測定は、179字と出た文が実際には46字でした。測る道具そのものの誤りとして、過去2回分の判定を撤回しています。数値が出ていることと、その数値を判定の根拠にしてよいことは別でした。

本文にわざと5件の誤りを埋めた試験では、見つけられた数が3件から、改修後は4件に増え、誤検出は0件でした。ただし、複数の事実をまたぐ矛盾と、本文の中の計算でもっともらしく見せる誤りは見逃したままでした。

検証全体の費用は、API料金に換算して1,086ドル相当でした。内訳は、本文の生成が7ドル、採点・点検などが51ドル、検証の設計と進行が1,028ドルです。

実際の請求額ではなく、ほかの制作にそのまま当てはまる数字でもありません。費用の大部分が、本文を書くことではなく、検証を設計し進めることにかかっていた。その事実を残しています。

ふだんの執筆は1話あたり約2ドル・約13分ですが、これには仕組みを動かすためのAI操作や、人が読んで確かめる費用と時間は含まれていません。