以前の投稿で、私たちはある主張をしましたが、それを検証していないことも認めました。すなわち、私たちのフロントエンド agent skills は、フロンティアモデルよりも弱く安価なモデルをより多く助けるはずだ、というものです。その論理は妥当でした。手渡された知識は、それをすでに知っているモデルにとっては価値が低い、というわけです。しかし論理は証拠ではありません。そこで私たちは実験を行いました。以下がその数値が示す結果です。
セットアップ
私たちは同じビルドタスクを、2つのより弱いエグゼキュータ、すなわち Haiku 4.5 と Sonnet 4.6 で、スキルありとスキルなしの両方で再実行し、フロンティアモデル（Opus 4.8）で使用したものと同一の計測手法で採点しました。重要なのは向上幅（lift）です。すなわち、スキルが各モデル層で出力をどれだけ改善するか、です。
テストは2つあります。7つの知識スキル（客観的な正確性で採点）と、プロセス系の「ビジュアルポリッシュ」スキル（品質についてブラインドで評価）です。
結果1: モデルが弱いほど、向上幅は大きい
正確性については、パターンは明快で単調です。
| モデル | スキルなし | スキルあり | 向上幅 |
|---|---|---|---|
| Opus 4.8（フロンティア） | 95.8% | 100% | +4.2 pts |
| Sonnet 4.6 | 91.7% | 100% | +8.3 pts |
| Haiku 4.5（最小） | 87.5% | 100% | +12.5 pts |
スキルはすべての層を100%まで引き上げます。しかしモデルが弱いほど、埋める差は大きくなります。向上幅はフロンティアモデルから最小モデルへとおおよそ3倍になります。補助のない弱いモデルは、スキルが符号化しているまさにその規約（一貫したサイズ設定戦略、アクセシビリティに配慮したブレークポイント、モバイルナビの状態、パフォーマンスシグナル）を落とし続けました。スキルは毎回それらを復元しました。仮説は確認されました。
結果2: センスは下層へ伝わるが、検証は伝わらない
品質スキルはより興味深いものでした。ブラインドで評価したところ、スキルありの出力は弱いモデルにおいて4組中3組の直接対決で勝利しました（フロンティアモデルはフルのレンダリングループを実行し、2組ともに勝利していました）。レビュアーは再び、補助のないバージョンを典型的な「AIらしい」デフォルトとして、スキルありのものを「カスタム設計された」ものとして指摘しました。
「勝ったデザインは自信のあるパレットとエディトリアルな書体を好みます。負けたものは、紫／インディゴのグラデーション、グラデーションの見出しテキスト、均一で中央揃えのカードといった、ありきたりのデフォルトに頼っています。」
しかし、その1つの敗北こそが、この研究全体で最も有用な結果です。最小のモデルは、スキルがあっても1組で負けました。ありきたりに見えたからではなく、コントラストが破綻した call-to-action（白い背景に白いテキスト）を出してしまったからです。これはまさに、スキルのレンダリングして推敲するループが、レンダリングされたページを見ることで捕捉するよう設計されている種類の実行上の欠陥です。そして、より弱くブラウザを持たないモデルは、そのループを確実に実行できませんでした。
したがって、スキルの2つの半分は、モデルが弱くなるにつれて異なる振る舞いを見せます。出荷されるセンス（検証済みのデザインシステム、アンチパターンのガードレール）は下層へ伝わり、出力がありきたりに見えるのを防ぎます。検証（レンダリング、批評、修正）は伝わりません。それにはブラウザと、スクリーンショットを判断できるだけの十分な能力の両方が必要です。
私たちが変更したこと
この発見には明確な対策があります。弱いモデルが「見て推敲する」ループを実行できないなら、モデルの判断に依存しない検証の下限を与えることです。そこで私たちはポリッシュスキルに次を追加しました。
- 依存関係のない自動品質ゲート。決定論的な欠陥（フォーカス状態の欠落、reduced-motion のガードなし、viewport タグの欠落、JS まで隠されているコンテンツ、典型的な「AIらしい」パレット、平板なシャドウ、明らかなコントラスト不足）を検出し、出荷前に必ず通過しなければならないスクリプトです。テストでは、ありきたりのベースラインを正しく不合格とし、リファレンスページを合格としました。
- シナリオマトリクス。モデルの強さとブラウザの利用可否の各組み合わせに対してどの検証を実行するか、そしてあらゆるケースで一定して機能する自動ゲートを定数として示すものです。
このゲートはヒューリスティックであり、レンダラーではありません。真のピクセル単位のコントラストを見ることはできません。そのため、ブラウザが利用可能な場合はフルのレンダリングチェックが依然として実行されます。しかしこのゲートは、「たぶん大丈夫だと思う」を、モデルの能力に関わらず検証済みの結果へと変えます。
これがチームにとって意味すること
- 知識スキルは安価なモデルでより大きな効果を生みます。おそらくそれが最良のユースケースです。本番環境で小型あるいは低予算のモデルを運用しているなら、よく作り込まれたスキルこそが、品質の多くを生み出す源泉です。
- フロンティアモデルで同じ効果を期待してはいけません。それはすでに規約を知っているため、正確性スキルはほとんど効果を及ぼしません。
- 出荷されるセンスは伝わるが、自己検証は伝わりません。デザインシステムはどのモデルの出力も引き上げますが、「見て直す」ループには能力とブラウザが必要です。
- すべての層に自動ゲートを与えましょう。それが、安価なモデルが自分では見えないバグを出荷するのを止める方法です。
SplatDev はこれをどう活かすか
私たちは、実際に運用するモデル（フロンティアであれ低予算であれ）に合わせて調整された AI 強化開発システムを構築します。その層で出力を信頼できるものにするスキル、ガードレール、自動ゲートを備えています。そして私たちはそれを測定します。どこで効果が出て、どこで出ないのか、そして差を埋めるために何を追加すべきかを。
コストに敏感なモデルを運用していて、そこからより多くの品質を引き出したいですか？
SplatDev にお問い合わせ — AI でより良く構築する
または [email protected] までメールでご連絡ください。