「受け入れた」は品質の証拠にならない。残存率という指標を手元のリポジトリで数えた
VS Code のブログに「MAI-Code-1-Flash: early results from real developer workflows」という記事が出ました(2026-07-29 公開、2026-07-30 取得)。新しいコーディングモデルのローンチ記事なのですが、目を引いたのはモデルの性能ではなく、性能の測り方のほうでした。 AI が書いたコードの評価に、受け入れたかどうかではなく、後から見てまだ残っているかを使っています。言いたいことを先に図にすると、こうです。 提案 受け入れる その後さわる コミット 受容率 ここで測定が終わる。材料は差分と、読んだ数十秒だけ 残存率 残存率は、動かして落ちた・読み返して消した … 受容の時点には無かった材料で決まる 測る区間が違うから、2つは逆を向くことがある 元記事の実測: 受容率 −6% のモデルが、残存率 +4% / コミット時残存率 +6%(baseline 比) 受容率は「読んで通したか」、残存率は「後から消さなかったか」。判定する材料も、判定する時点も違います。 ...