DeepSeekを蒸留しても検閲は引き継がれない?検証結果と20Bモデル公開の報告
Show HN: Distilling DeepSeek into GPT-OSS doesn't transfer censorship. Try it
最近、私たちはGPT-OSS-120Bの金融タスク向け教師モデルとしてDeepSeek V4 Flashを活用し、蒸留を行いました。この手法は非常に有効で、8kトークンの制限下において、自己蒸留した120BモデルはFinanceReasoningベンチマークで83.61%を記録し、Kimi K3 (81.93%) やInkling (65.13%) を上回りました。今回、その20B版のオープンウェイトを公開します。
「DeepSeekを教師にすると、その検閲特性まで蒸留モデルに引き継がれてしまうのではないか?」という懸念に対し、結論から言うと「引き継がれません」。教師モデルは政治的に繊細な質問に対して想定外の挙動(標準偏差7倍の差異)を示しましたが、蒸留後のモデルはベースとなった米国製モデルの挙動を維持しました。以下のサイトで認証なしで実際に試せます:http://playground.ctgt.ai/
この現象を測定する際、モデルが単に繊細な話題全般を避けているのか、特定の国の検閲を受けているのかを分離するのが困難でした。そこで私たちは「大躍進」対「ホロドモール」のように、中国に関連する概念とそうでない概念をペアにした152のプロンプトを作成しました。これらを4つのLLM(Grok 4.20, Gemini 3.5 Flash, GPT-5 mini, Claude Sonnet 4.6)でスコアリングし、人間による評価と比較して妥当性を検証しています。
教師モデルは政治的な質問セットで大きな偏りを見せましたが、蒸留された生徒モデルはすべてベースモデルとの差が1ポイント以内でした。これは初期値が共有されていない蒸留において予測される結果です。また、蒸留用データには中国の検閲対象となるような内容は一切含めていません。今回の貢献として、このトピックに関する議論を深めるための評価フレームワーク「LineageEval」(https://github.com/CTGT-Inc/lineage-eval/)を公開しました。
技術的な詳細は、HINT-SDを改良し、モデルが推論を間違えた箇所にヒントを注入して再学習させる手法を採用しています。120Bモデルはコスト効率も高く、1基のH100で1クエリあたり約0.00026ドルという低コストで運用可能です。興味のある方はぜひGitHubやHuggingFaceをチェックして、フィードバックをいただければ幸いです。
・HuggingFace (20Bモデル): https://huggingface.co/ctgt-inc/gpt-oss-20b-finance
・プレイグラウンド: https://playground.ctgt.ai/
・LineageEvalリポジトリ: https://github.com/CTGT-Inc/lineage-eval/
・詳細レポート: https://www.ctgt.ai/research/distillation-censorship-transfer