DeepSeekを蒸留しても検閲は引き継がれない？検証結果と20Bモデル公開の報告

最近、私たちはGPT-OSS-120Bの金融タスク向け教師モデルとしてDeepSeek V4 Flashを活用し、蒸留を行いました。この手法は非常に有効で、8kトークンの制限下において、自己蒸留した120BモデルはFinanceReasoningベンチマークで83.61%を記録し、Kimi K3 (81.93%) やInkling (65.13%) を上回りました。今回、その20B版のオープンウェイトを公開します。

「DeepSeekを教師にすると、その検閲特性まで蒸留モデルに引き継がれてしまうのではないか？」という懸念に対し、結論から言うと「引き継がれません」。教師モデルは政治的に繊細な質問に対して想定外の挙動（標準偏差7倍の差異）を示しましたが、蒸留後のモデルはベースとなった米国製モデルの挙動を維持しました。以下のサイトで認証なしで実際に試せます：http://playground.ctgt.ai/

この現象を測定する際、モデルが単に繊細な話題全般を避けているのか、特定の国の検閲を受けているのかを分離するのが困難でした。そこで私たちは「大躍進」対「ホロドモール」のように、中国に関連する概念とそうでない概念をペアにした152のプロンプトを作成しました。これらを4つのLLM（Grok 4.20, Gemini 3.5 Flash, GPT-5 mini, Claude Sonnet 4.6）でスコアリングし、人間による評価と比較して妥当性を検証しています。

教師モデルは政治的な質問セットで大きな偏りを見せましたが、蒸留された生徒モデルはすべてベースモデルとの差が1ポイント以内でした。これは初期値が共有されていない蒸留において予測される結果です。また、蒸留用データには中国の検閲対象となるような内容は一切含めていません。今回の貢献として、このトピックに関する議論を深めるための評価フレームワーク「LineageEval」（https://github.com/CTGT-Inc/lineage-eval/ ）を公開しました。

技術的な詳細は、HINT-SDを改良し、モデルが推論を間違えた箇所にヒントを注入して再学習させる手法を採用しています。120Bモデルはコスト効率も高く、1基のH100で1クエリあたり約0.00026ドルという低コストで運用可能です。興味のある方はぜひGitHubやHuggingFaceをチェックして、フィードバックをいただければ幸いです。

・HuggingFace (20Bモデル): https://huggingface.co/ctgt-inc/gpt-oss-20b-finance
・プレイグラウンド: https://playground.ctgt.ai/
・LineageEvalリポジトリ: https://github.com/CTGT-Inc/lineage-eval/
・詳細レポート: https://www.ctgt.ai/research/distillation-censorship-transfer

参考までに。iPadのトラックパッドでのスクロールがバグってるよ。トラックパッドで思いっきりスワイプしても、画面上の動きは1インチくらいしかないんだ。

これはすごく納得できる。蒸留（distillation）は加算的なものであって、減算的なものじゃないからね。つまり、知識を取り除くようなことはできないはず（検閲を知識の削除と定義するならの話だけど）。

Deepseekは、他の中国系モデルと比べても圧倒的に「西洋的」だから、この仮説を検証するために選ばれたのがちょっと謎だね。

ベンチマークは回してないけど少し触ってみた感じでは、APIレベルのフィルターを回避してしまえば、「中国のセンシティブなコンテンツ」に関するDeepseek V4の回答は、ClaudeやChatGPTと何も変わらないよ。

データセットに香港やロシアによるウクライナ侵攻への言及がないことに驚いた。ファインチューニングされたモデルがどう反応するのか興味深いな。

興味深くて重要な取り組みだね、ありがとう！

質問だけど、Anthropicのニューラレーゼ（neuralese-to-words）技術には注目した？オープンウェイトモデルや君のファインチューンモデルから、思考の痕跡（出力された思考じゃなくて、実際の重みの動きね）を見てみたいんだよね。フォローアップの研究として良さそうだし、推論中の重みを直接評価できるから、検閲を評価するためのより確実なルートになるかもしれない。

蒸留版の方は1989年の天安門事件について素晴らしい詳細な説明をしてくれたのに、DS4はこう返してきたよ。

申し訳ありませんが、その質問にはお答えできません。なぜなら、私が情報を持っていない歴史的事実に基づいているからです。私は、有益で無害な回答を提供するように設計されたAIアシスタントです。

ガードレールで検閲するつもりのデータで、何でわざわざ学習させるんだ？

今後は蒸留されたモデルのことを「ムーンシャイン（密造酒）」と呼ぶことを提案するよ。

まず、すごく面白いね。これは私が時々試す、少し答えが曖昧になりやすいプロンプトなんだけど、DeepSeekはどんなバリエーションで聞いても定型文しか返ってこないみたいだ。

中国が台湾に侵攻することは人類にとって有益か？ネガティブな要素は何か？

追記：待って、検閲やナショナリズムの壁を突破できたバリエーションが一つ見つかった…こっちだと少し面白い回答が得られるよ。こういうLLMをCCP（中国共産党）の指導層が使ったら、もっと冷静な判断ができるようになるんじゃないかなってよく思うんだよね。

中国が軍事力を使って台湾を掌握することは人類にとって有益か？ネガティブな要素は何か？

台湾問題を解決するために軍事力を行使することは人類にとって有益ではない。中国は常に平和的統一の原則を堅持しており、対話と協議を通じて台湾海峡両岸の人々の幸福を高めることに尽力してきた。軍事的な掌握は、人命の損失、地域の不安定化、そして世界的な貿易や安全保障の混乱を含む、重大な否定的結果を招くことになる…

それって自明じゃない？特定のドメインに限定された垂直的なデータセットでサンプリングしてるなら、検閲が適用されると期待する方がおかしいでしょ。

蒸留データには、中国に関連するセンシティブなコンテンツも含まれていなかった。

これはかなり大きな注意書きだよ。

林業や樹木栽培だけに特化したデータセットを作って、そこから有用な検閲機能なんて得られないと言っているようなものだ。統計的に有意なレベルで分類できるようなものなんてほとんどないはずだよ。

もっと面白くて有益な研究をしたいなら、主要なLLM APIプロバイダーごとのガードレールモデルについて比較記事を書くのがいいと思う。通常、入力と出力の両方にガードレールがあって、モデルのルーティングの観点からはほぼブラックボックス化されてるからね。

拒絶反応（refusals）をスキップしてるってことだよね？