Rockaku Works実際どうなん?このサイトについて

AIっぽい文章を直す工程を入れた。削れたのは言い回しではなく、旧構成で生まれていた重複だった

ホワイトボードの前でロクが案内している。結果:やってみたら意外だった。ボード:「削れたのは、旧構成の重複」

この連載の記事は、下書きをAIが書いている。硬い言い回しを直すために、公開前に文体を整える工程を1つ足した。その工程では、中身を削りすぎていないかの目安として、地の文の文字数を毎回記録している。11本分の数字を並べると、文字数が大きく減っていたのは、言い回しを直したときではなかった。

結論

文字数が大きく減ったのは、言い回しを直したときではなく、旧構成で生まれていた重複に手を付けたときだった。公開前に構成を組み直した4本は地の文が約20〜34%減り、そのあと文体を直しても変化は±0.2%以内だった。旧構成のまま公開した7本は、後から重複を削ると14〜27%減った。重複していたのは、節ごとに言い直していた結論と範囲の断り書きだった。文体を直す道具は、そのまま使うと原文にない感情や強さの違う言葉を足したので、足さないルールと機械チェックを付けて使っている。

きっかけ

この連載はAIに作業を任せて、その結果を記事にしている。下書きもAIが書く。事実や数字は合っていても、読み返すと硬い。同じ結論を何度も言い、「それこそが〜」「こうして振り返ると」のような締めで終わる。いわゆるAIっぽい文章だった。

直すための道具は自作しなかった。日本語のAIっぽさを直す手順をまとめた公開のスキル「humanizer-ja」(MIT ライセンス)があったので、版を固定してそのまま使うことにした。AIにこの手順書を渡すと、そのとおりに下書きを書き直す。

気にしていたのは、書き直しで中身が変わらないかだった。この連載は検証の記録なので、数字や範囲の断り書き、結論の強さが変わると記事として困る。中身を削りすぎていないかの目安に、書き直しのたびに地の文の文字数を記録することにした。地の文は見出し・表・図・画像を除いた本文の段落のことで、毎回同じスクリプトで数えている。

文字数は目安で、短くすること自体は目的にしていなかった。ただ、11本分の数字を並べると、工程によって減り方がはっきり違っていた。

やったこと

文体を直す工程は4段階で入れた。

  1. 試しにかける公開済みの記事1本で、元の文(A)、humanizer-ja だけで直した文(B)、書き手の設定を足して直した文(C)を作り、人間が読み比べた。もう1本でも A と C を比べた
  2. 足さないルールを作る書き手の設定を1枚にまとめ、機械チェックを用意した。数字・範囲の断り書き・結論の文言・見出しや表が変わっていないか、関西弁・一人称・強い言葉を足していないかを調べ、1つでも引っかかれば記事に書き戻さない
  3. 公開前の4本にかける公開前だった4本は、先に新しい記事フォーマットへ組み直していた。組み直した下書きに文体の調整をかけた
  4. 公開済みの全11本から重複を削る公開後に、全11本の地の文から、同じことの言い直しと締めの決まり文句を削った。こちらも同じ機械チェックを通した

試しにかけた段階で、道具が足したもの

humanizer-ja だけをかけた B には、元の文にないものが入っていた。

元の文(A) humanizer-ja だけ(B)
本当にうまく機能し続けるのかどうかは、これから先も見ていく必要がある。 本当にうまく機能し続けるのかは、正直まだわからない。しばらく見ていくしかない気がする。
本当に必要だったのは(中略)把握できるようにしておくことだった。 本当に要ったのは(中略)把握できるようにしておくことだったんだと思う。

1つ目は元の文になかった感情が足されていて、2つ目は言い切っていた結論が「と思う」に弱まっている。読みやすさは上がっていたが、検証の記事としては、硬い文章よりこちらのほうが困る。

書き手の設定を足した C でも、人間の読み比べで2か所が戻された。

元の文 C の書き換え 人間の判定
本当にうまく機能し続けるのかどうかは ほんまに機能し続けるのかは 取ってつけた感がある
破綻していたわけではない ボロボロだったわけではない 意味の強さが変わる

2つ目は、打ち消している中身が「破綻」から「ボロボロ」へ強くなって、文全体の意味の強さが変わるという判定だった。この2件は書き手の設定にルールとして足している。関西弁は言い換えで入れない。口語にしてよいが、意味や評価の強さは変えない。機械チェックでも、以後は関西弁と強い言葉が増えていないかを数えている。

それでも、2本とも C で進めることになった。1本目の読み比べでは、AIっぽさの減り方と読みやすさは B と C、本人が言いそうかは C、意味を変えていないかは C と B が良いと判定された。

文字数の記録

文字数の変化を工程ごとに並べるとこうなる。記事は、公開前に構成を組み直してから文体を直した4本と、旧構成のまま公開していた7本の2つに分かれる。

工程 公開前に構成を組み直した4本 旧構成のまま公開した7本
構成を組み直す 約20〜34%減 していない
文体を直す(公開前) ±0.2%以内 かけていない
公開後に重複を削る 1.5〜6.1%減 14〜27%減

構成を組み直した4本は、文体を直す工程で24〜28段落のうち6〜7段落を書き換えている。すべて言い回しの変更で、段落の削除は0だった。書き換えは起きているのに、文字数はほとんど動いていない。

旧構成の7本は、公開後に重複を削ると14〜27%減った。削ったのは、結論の言い直し、範囲の断り書きの繰り返し、「こうして振り返ると」「それこそが」「幸いだった」のような締めの言い回しだった。

試しにかけた段階の2本も、旧構成のままだった。こちらは文体を直すだけで、C が約19%と約13%減っている。旧構成のままなら、文体を直す工程でも削れていた。

旧構成で重複していた場所

旧構成の見出しは8つあった。結論、きっかけ・仮説、やったこと、起きたこと、わかったこと、実際どうなん?(まとめ)、補足・注記、制作プロセス。記事の冒頭には結論のボックスもある。結論は、結論のボックス、「結論」の節、「まとめ」の節の3か所に置く作りだった。

範囲の断り書きも同じだった。完了条件の記事では、「1人・約10日」という範囲が、結論のボックスと、7つある本文の節のうち5つに出ていた。節ごとに範囲を書き直す作りになっていた。

新しいフォーマットの見出しは、きっかけ・やったこと・わかったことの3つになった。結論は冒頭のボックスに1回だけ置く。組み直した4本では、この段階で結論の言い直しと「まとめ」「補足・注記」の節がなくなっていた。

わかったこと

言い回しのAIっぽさと文章の長さは、別の問題だった。言い回しは文体を直す工程で直せたが、削れた分は、旧構成で同じことを節ごとに言い直していた部分だった。旧構成に最初に手を付けた工程で文字数が大きく減り、そのあとの工程では削るものがほとんど残っていなかった。今回の記録では、旧構成の重複が残っていた記事は、構成の組み直しでも、書き手の設定を付けた文体調整でも、公開後の重複削りでも、約13〜34%減っていた。

1本だけ読んでも見えないAIっぽさもあった。公開前の4本を並べると、「立てた仮説はこうだ」が4本すべてに、「先に線を引いておく」が3本に入っていた。1本の中では自然に読めるので、1本ずつ見ていると気づかない。文体を直す工程では、この決まり文句が記事をまたいで重ならないように言い換えた。

文体を直す道具は、そのまま使うと足す。感情、弱い断定、取ってつけた方言、強い言葉。道具そのものより、書き手の設定の「足さない」ルールと機械チェックのほうが効いた。機械チェックが見ているのは足していないか・変えていないかだけで、読みやすくなったかは見ていない。そこは人間が読み比べて決めている。

見た範囲は、1人がこの連載の11本で、同じAIと同じ書き手の設定を使ったところまでだ。文字数は地の文だけで、読みやすさは数値にしていない。構成の組み直しと文体の調整を、同じ下書きで順番を入れ替えて比べたわけでもない。