В предыдущей статье мы высказали утверждение и признали, что не проверяли его: что наши навыки фронтенд-агентов должны помогать более слабым и дешёвым моделям сильнее, чем передовой. Логика была здравой — переданное вам знание стоит меньше для модели, которая уже им владеет, — но логика не является доказательством. Поэтому мы провели эксперимент. Вот что говорят цифры.
Постановка
Мы заново прогнали те же задачи по сборке с двумя более слабыми исполнителями — Haiku 4.5 и Sonnet 4.6 — с навыками и без них, и оценили их теми же инструментами, что использовали для передовой модели (Opus 4.8). Значимая величина — это прирост: насколько навык улучшает результат, измеренный на каждом уровне модели.
Два теста: семь навыков знаний (оценка по объективной корректности) и процессный навык «визуальной шлифовки» (слепая оценка качества).
Результат 1: чем слабее модель, тем больше прирост
По корректности картина чистая и монотонная:
| Модель | Без навыков | С навыками | Прирост |
|---|---|---|---|
| Opus 4.8 (передовая) | 95.8% | 100% | +4.2 п. |
| Sonnet 4.6 | 91.7% | 100% | +8.3 п. |
| Haiku 4.5 (самая маленькая) | 87.5% | 100% | +12.5 п. |
Навык подтягивает каждый уровень до 100% — но чем слабее модель, тем больший разрыв он закрывает. Прирост примерно утраивается при переходе от передовой модели к самой маленькой. Слабые модели без поддержки постоянно упускали ровно те соглашения, которые кодируют навыки (последовательную стратегию размеров, точки перелома с учётом доступности, состояние мобильной навигации, сигналы производительности); навык восстанавливал их каждый раз. Гипотеза подтверждена.
Результат 2: вкус передаётся вниз — верификация нет
Навык качества оказался интереснее. При слепой оценке результат с навыком выиграл 3 из 4 очных сравнений на более слабых моделях (передовая модель, прогонявшая полный цикл рендеринга, выиграла обе свои пары). Рецензент снова отметил версии без поддержки как типовой AI-дефолт, а версии с навыком — как «спроектированные под задачу».
«Выигравшие дизайны тяготеют к уверенным палитрам и редакторской типографике; проигравшие опираются на типовые дефолты — фиолетово-индиговые градиенты, градиентный текст заголовков, однообразные центрированные карточки».
Но единственное поражение — самый полезный результат всего исследования. Самая маленькая модель, даже с навыком, проиграла одну пару — не за то, что выглядела типово, а за то, что выдала призыв к действию с нарушенным контрастом (белый текст на белом фоне). Это ровно тот тип дефекта исполнения, который цикл навыка «отрисуй и доработай» призван ловить, глядя на отрисованную страницу, — а более слабая, лишённая браузера модель не смогла надёжно прогнать этот цикл.
Итак, две половины навыка ведут себя по-разному по мере ослабления моделей: заложенный вкус (проверенная дизайн-система, ограничители против антипаттернов) передаётся вниз по уровням и удерживает результат от типового вида. Верификация (отрисовать, раскритиковать, исправить) — нет: ей нужны и браузер, и достаточная способность оценить скриншот.
Что мы изменили
Из находок вытекает ясное исправление: если слабая модель не может прогнать цикл «смотрю и дорабатываю», дайте ей нижнюю планку верификации, не зависящую от суждения модели. Поэтому мы добавили в навык шлифовки:
- Автоматический контроль качества без зависимостей — скрипт, который помечает детерминированные дефекты (отсутствие состояний фокуса, отсутствие защиты reduced-motion, отсутствие тега viewport, контент, скрытый до загрузки JS, типовую AI-палитру, плоские тени, явные провалы контраста) и обязан пройти перед отгрузкой. В тестировании он корректно завалил типовые базовые варианты и пропустил эталонную страницу.
- Матрицу сценариев — какую верификацию запускать для каждой комбинации силы модели и доступности браузера, где автоматический контроль остаётся константой, работающей в любом случае.
Этот контроль — эвристика, а не рендерер: он не может видеть истинный попиксельный контраст, — поэтому при наличии браузера полная проверка рендеринга по-прежнему запускается. Но он превращает «мне кажется, всё в порядке» в проверенный результат независимо от того, насколько способна модель.
Что это значит для команд
- Навыки знаний дают больший выигрыш на дешёвых моделях — пожалуй, это их лучший сценарий применения. Если вы запускаете в продакшене небольшую или бюджетную модель, значительная часть вашего качества идёт именно от хорошо построенных навыков.
- Не ждите того же на передовой модели — она уже знает соглашения, поэтому навык корректности почти не двигает её.
- Заложенный вкус путешествует; самопроверка — нет. Дизайн-система поднимает результат любой модели; цикл «смотрю и исправляю» требует способности и браузера.
- Дайте каждому уровню автоматический контроль. Именно так вы не даёте дешёвой модели отгрузить баг, который она сама не видит.
Как SplatDev это применяет
Мы строим AI-усиленные системы разработки, настроенные под ту модель, которую вы реально запускаете, — передовую или бюджетную — с навыками, ограничителями и автоматическими контролями, которые делают результат надёжным на этом уровне. И мы это измеряем: где выигрыши, где их нет и что добавить, чтобы закрыть разрыв.
Запускаете чувствительную к стоимости модель и хотите выжать из неё больше качества?
Свяжитесь со SplatDev — стройте лучше с AI
Или напишите нам на [email protected]