What a Distilled Model Inherits From Its Teacher

検閲の厳しい中国モデルの出力で GPT-OSS を蒸留したとき、検閲まで受け継がれるのか。ここでの結論は、受け継がれないというものです。しかも金融推論はむしろ強くなり、推論スコアは明確に上がり、クエリあたりのコストは比較対象のモデルより大きく下がったと示されています。自己蒸留の手順と評価の枠組みも併せて公開されているので、数字を鵜呑みにせず自分で回して確かめられます。