LLM開発で陥りがちな「アンチパターン」まとめ：あなたのモデルは大丈夫？

LLM（大規模言語モデル）を導入・運用する際に、コードやプロンプトでついやってしまいがちな「不吉な臭い（Smells）」や、避けるべき設計上の落とし穴について議論しましょう。

「__なし、なし。ただの」

または、アプローチを表現するのに「誠実（honest）」を使うとか。

「LLMが生成した文章の方が、明らかに自分の書いたものより優れていると感じた」

LLMの典型的なパターンとして、自分が苦手なことに関してはすごく良く見えるというのがある。つまり、特定の分野でLLMの出力が自分のより「圧倒的に」優れていると感じるなら、自分にはその品質を正しく判断する能力が備わっていない可能性が高いってこと。

• 「(The) honest caveat:」（または「genuine caveat:」、どちらもコロン付き）
• 「(The) honest answer:」（これもコロン付き）
• 「The thing to internalize:」（心に留めておくべきこと）
• 「The smoking gun:」（決定的な証拠）
  （実際、「The <次の節が核心であることを示唆するタグ>:」で始まる文はかなり分かりやすい特徴だけど、この4つは特に頻出）
• 「load bearing」（建築の話をしていない時に使う）
• 「blast radius」（実際の爆発物の話ではなく、イベントや行動の影響範囲を指す時）
• 「smoke test」（「sanity check」の方が適切な場面でも使われる）
• 3つの節や形容詞を並べたリストで、3つ目が結局最初の2つの組み合わせに過ぎないもの
• 物事の「形状（shape）」に比喩的に言及する表現
• 「Curious if anyone…（誰か～か気になって…）」で終わるSNS投稿
• 「Oh. Oh.」（2つ目のohが斜体）と使う物語やエピソード

追記：最後の方のいくつかは開発者がよく使う用語でもある…けど、実際にそれらが使われる頻度については議論の余地がある。それに、こうした特徴は最新モデルが生成する文章に色濃く残ってる。

今、LinkedInのフィードを眺めるのは最高に笑える。

今日見た中で一番のお気に入り：

「税金が問題なのではない。マインドセットが問題なのだ。」

LLMの文章の画一的な感じは良くないよね。文章作成の補助に使うのはいいけど、LLMが生成した単語をそのまま含めたり、語彙の調整すらそのまま反映させたりしてはいけない。構造や流れの添削、使い古された言葉や受動態、トピックセンテンスの選び方の甘さを指摘してもらうには最適。そういう使い方は文章の客観的な改善につながるし、自分のスタイルを損なうこともない。

WebデザインにおけるLLMの画一性はむしろ良いこと。ほとんどのサイトは個性を出そうとすべきじゃない。実用性を備えたサイトにとって最高のデザインは「読みやすさ」であり、LLMは平均的な開発者よりその点が優れている。いつも同じボタン配置で、同じフォントサイズを使って何が悪いの？それで自分にとって見栄えが良いなら、独力でそれ以上にするのは無理だっただろうし、むしろ悪化させていた可能性の方が高いはず。

今や、ブログ記事やSlackのメッセージなど、ほとんどの文章においては、多少の誤字脱字や文法ミスがあったとしても、誰かの「生」に近い文章が読みたい。LLMはアイデア出しやコード生成、多少の文章校正には役立つけど、全面的に書かせるのはやめてほしい。AIが言っていることじゃなくて、君自身が何を伝えたいのかを知りたいんだ。

面白いのは、ここ最近、LLMの文章がスタイル面でそこまで大きく向上したとは感じない点だ。
少し前に「良い」レベルには達したけど、新しいモデルになっても、熟練の書き手よりも優先して選びたくなるような改善は見られない。

スーパーインテリジェンスを追い求める過程で、他の分野でも同じことが言えるのか興味深いね。

「対照的否定（Contrastive Negation）」もお忘れなく。

対照的否定とは、文の前半で特定のアイデアを否定し、後半で代替案を提示するレトリック構造のこと。

通常「Xではなく、Yだ」や「単にXというだけでなく、Yでもある」という形式をとる。

Wikipediaにも、よくあるLLMの文章パターンをまとめた素晴らしいリソースがあるよ: https://en.wikipedia.org/wiki/Wikipedia:Signs_of_AI_writing

他にも、LLMの出力（ドキュメント、プレゼン、コードなど種類を問わず）をしっかりチェックして、こうした「AI臭さ」を排除することで「自分のもの」にするための『ゲーム』として活用している人はいないかな？ 私はコンテンツを公開するハードルが高いので、必ず徹底的に推敲して、エムダッシュや対照的否定、「quietly（静かに）」といった余計な冗長さを削ぎ落とすようにしてる。そうすると、本当にしっかりと磨き上げられる気がするんだ。

    <誰か>が<何か>をした。
    
    そして、すべてが変わった。

これが私の一番好きなLinkedIn風の言い回し。LinkedInに正規表現のブロック機能があったらいいのに。