Тесты AI моделей
Одно задание, разные модели — и цифры вместо впечатлений
Модели сравнивают двумя способами: по бенчмаркам, где побеждает тот, кто лучше решает абстрактные задачи, и по ощущениям — «мне кажется, эта пишет живее». Нам нужен третий: рабочая задача нашего продукта, одинаковый вход для всех, счёт за каждый шаг и оценка от людей, которые результатом пользуются.
Правила одинаковые во всех тестах:
- один вход — описание продукта и скриншоты страницы, никаких подсказок «правильного» ответа;
- прямой вызов — REST-запрос к модели, без агента и без правок человека между шагами;
- слепое судейство — работы обезличиваются, судьи видят только буквы;
- деньги — стоимость вызовов, картинок и судейства считается отдельно.
