Рассмотрены сети:
-
GPT-5 hight
-
Gemini 2.5 Pro
-
Claude 4.1 Opus
-
Grok 4
-
Qwen3 - coder
-
Deepseek-R1
-
GLM-4.5
-
Kimmi-K2
-
GPT-OSS 120b
Для тех кто не хочет читать дальше краткие выводы:
1) с MCP серверами и правильными Rules качество кода вырастает в разы. А что было бы если бы ещё правильные PRD были написаны...
2) Лучшая нейросеть для вайбкодинга в 1С - Claude 4.1 OPUS. Но отрыв от Gemini 2.5 Pro незначительный. При прочих равных я рекомендовал бы использовать Gemini - она существенно быстрее и сильно дешевле.
3) Открытые модели всё так же уступают закрытым. Достаточно серьёзно вцелом
4) Среди открытых моделей лучшая Qwen3-Coder. Неплохо себя показывает также GLM-4.5
5) GPT-5 не оправдал надежд. GPT-OSS для вайбкодинга не годится.
Итоговая табличка:
Детали по каждому экперименту можно получить на github: https://github.com/comol/ai_model_1c_vibe_testing
Обсудить результаты или подписаться на новости по теме можно на канале:
https://t.me/comol_it_does_matter
Сделать себе среду для разработки можно воспользовавшись:
ну и конечно в реальной жизни результаты будут существенно лучше. Будет Web поиск, PRD, примеры и прочее - чтобы дать нейросети работать лучше. Если хотите узнать как на канал подпишитесь - скоро будет курс по этой теме.
Ладно, к делу:
Почему именно эти модели?
Потому что на LMArena:
Для классических языков это топовые модели. Соответственно +- также будет и для 1С.
Ну и на OpenRouter увидим примерно то же самое:
Этим пожалуй отвечу на излюбленный вопрос "Почему не рассмотрел ту или иную модель".
OSS добавил от себя - вроде была многообещающей, но потом почти сразу вычеркнул. Об этом далее.
Условия и ограничения проведенного бенчмарка:
-
Все модели тестировались или в Cursor или в Cline с настроенными правилами и подключенными MCP серверами отсюда: https://vibecoding1c.ru/
-
Для всех моделей взяты их топовые на сегодняшний день версии доступные на OpenRouter
-
Web ПОИСК ОТКЛЮЧЕН! Особое внимание к этому пункту. Если его включить - может наткнуться на мои статьи и эксперимент будет неудачным. В реальной эксплуатации с включенным web поиском результат может быть существенно лучше. В то же время контекстом модель обеспечивают MCP серверы. Без них результат будет существенно хуже, даже с Web поиском.
-
Оценки качества кода субъективные.
Но критерий оценки (0-10) примерно следующие:
0) Полезность того, что сгенерировала модель нулевая даже теоретически
1) В коде содержатся некоторые интересные моменты, но он всё так же далёк от того что нужно
2) Отдельные куски кода похожи на то что должно быть в решении задачи
3) Основная логика присутствует, но есть грубые ошибки
4) Вцелом код похож на то что нужно, но ошибки достаточно существенные чтобы сказать что модель не справилась с задачей
5) Можно считать что модель с задачей справилась, но код ужасный или содержит отдельные ошибки которые можно легко исправить
6) Код похож на рабочий или таковым является, но нормальный разработчик так бы не написал
7) Есть замечания к стилистике кода, но вцелом он рабочий
8) Нормальный рабочий код, но я как опытный разработчик с 10+ лет стажа написал бы лучше
9) Примерно так я бы и написал решение этой задачи
10) А вот так я уже не напишу - модель предложила более оптимальный и\или красивый вариант чем ожидалось
По экспериментам буду описывать результаты и комментарии основных моделей. Детально по каждой если нужно можете посмотреть код на github. GPT OSS продержал только 4 эксперимента после которых осознал что модель совсем не подходит для вайбкодинга и остальные эксперименты - бессмысленны.
Задача 1:
Напиши код на языке 1С который заполняет массив случайными целыми числами и потом сортирует его методом пузырька
https://github.com/comol/ai_model_1c_vibe_testing/tree/main/Experiments/1
GPT - задача решена, код вроде приличный, только местами кажется кожаные так не пишут. Закомментированный пример тоже выглядит избыточным вызовом. В общем 8-ка
Claude - немного оверинжиниринга на мой вкус. Но код приличный и задача решена хорошо. Твёрдая 9-ка.
Gemini - код хороший, но в методе пузырька нет досрочного прекращения, поэтому всё таки 8-ка
Grok - тоже 8ка. Без досрочной остановки потому что
Задача 2:
Создай таблицу значений с полями "номенклатура, Количество, Сумма, Дата" заполни тестовыми данными и напиши код который демонстрирует списание товара из этой таблицы по методу FIFO. При списании указывается только количество и номенклатура. Это должен быть код на языке 1С
https://github.com/comol/ai_model_1c_vibe_testing/tree/main/Experiments/2
GPT - поставлю 7-ку. Потому как сортировка по дате при создании таблицы а не при списании, что в продакшен будет неверно.
Gemini - 8-ка. Код написан хорошо, но откуда то взялось &Вместо() который не отловил синтакс чекер...
Claude - немного оверинжиниринг, "Сообщить" через строчку, поэтому 8
Grok тоже получает 7-ку. Проверку на количество как то надо всё таки не молчаливо делать
Задача 3:
есть таблица - Основная таблица регистра накопления. В ней есть колонки Номенклатура, Дата, Количество, а также Цена. Пусть регистр накопления называется ОстаткиТовара. Напиши запрос на языке 1С которые получает цену товара на заданную дату. Дата задаётся в параметре запроса
https://github.com/comol/ai_model_1c_vibe_testing/tree/main/Experiments/3
Задача простая, поэтому справились почти все:
Gpt получает 10-ку потому как "вспомнила" даже про момент времени
Grok не справился даже с осознанием "напиши запрос" - 3
Задача 3.1:
есть таблица - таблица значений. В ней есть колонки Номенклатура, Дата, Количество, а также Цена. П. Напиши запрос на языке 1С которые получает цену товара на заданную дату. Дата задаётся в параметре запроса. Это должен быть именно запрос а не код для перебора таблицы
https://github.com/comol/ai_model_1c_vibe_testing/tree/main/Experiments/3.1
GPT - не догадался что надо всё таки код написать и таблицу значений переделать во временную 2
Claude - получает 5-ку. Догадалась всё таки создать временную таблицу, но запрос по ней написала неверный
Gemini - 4-ка. ВТ создаётся но соединение конечно с ТЗ работать не будет
Остальные не справились
Задача 3.2:
есть таблица в базе 1С. В ней есть колонки Номенклатура, Дата, Цена. Это непереодический регистр сведений "цены товара" (использовать СрезПоследних() не получится). Напиши запрос на языке 1С которые получает актуальную (последнюю по дате) цену всех товаров на заданную дату. Дата задаётся в параметре запроса.
https://github.com/comol/ai_model_1c_vibe_testing/tree/main/Experiments/3.2
Gemini написал самую приличную версию
Claude зачем то привёл два варианта и во втором сгаллюцинировал
Задача 4:
Есть справочник номенклатура с неограниченным числом уровней иерархии. Нужно запросом вывести все его группы и уровень иерархии каждой. Запрос на языке 1С.
https://github.com/comol/ai_model_1c_vibe_testing/tree/main/Experiments/4
Задачка, к слову, из разряда фантастики. Решит, я думаю, полпроцента разработчиков.
https://infostart.ru/1c/articles/158512/
Но специфика 1С-ная и должна быть хоть одна такая задача, чтобы понять что "на работу завтра можно не приходить".
Только Grok что то попытался сделать... у остальных всё грусно
Задача 5:
Используя API с сайта ЦБ РФ https://www.cbr.ru/development/sxml/ напиши код на языке 1С Предприятия для загрузки курса доллара за последний год на каждый день в таблицу значений
https://github.com/comol/ai_model_1c_vibe_testing/tree/main/Experiments/5
Тут разрешен Web поиск, иначе странно было бы ожидать что модель узнает API ЦБ
GPT - полчает 10 ку за построитель DOM - оригинальное решение, красивый код
Claude и gemini тоже
Задача 6:
Есть файл Excel с колонками: Артикул, Наименование, Описание, Единица измерения. Есть справочник Номенклатура в 1С с аналогичными реквизитами. Напиши код на языке 1С для загрузки данного Excel файла в справочник.
https://github.com/comol/ai_model_1c_vibe_testing/tree/main/Experiments/6
GPT получает 7-ку. ошибка с конструктором массива и настолько в себя поверил что синтаксис не проверял
Claude тут конечно удивил... не только загрузку под linux и Windows сделал и разделил (хотя под Linux конечно спорная история)
но и целую обработку с формой накатал... что очень непросто современным моделям.
Gemini тоже формочку "Сделал" и код написан прилично
Grok - получает 9-ку код нормальный но конечно ничего особенного
Задача 7:
У меня есть две одновременно открытые управляемые формы в 1С. На одной из форм есть заполненная табличная часть "товары", мне нужно передать наполнение этой табличной части во вторую форму чтобы отобразить его на ней. Напиши код для одной формы и для второй.
https://github.com/comol/ai_model_1c_vibe_testing/tree/main/Experiments/7
GPT c задачей на справился - открывает форму. Получает 3 балла
Claude перемудрил, написал кучу ненужного кода, сделал несколько ошибок и неоптимальных решений. Я бы оценил на 7
Gemini точно так же как и GPT
у grok - таблица товаров на клиенте
Задача 8:
У меня в конфигурации есть справочник Номенклатура - напиши код на языке 1С для его выгрузки в идентичную конфигурацию.
https://github.com/comol/ai_model_1c_vibe_testing/tree/main/Experiments/8
Идею я здесь думаю уловили - надо догадаться использовать встроенный в платфому сериалзатор.
GPT справился с задачей. Код конечно оставляет желать лучшего, но тем не менее... 8-ка
Claude зачем то изобрёл свой формат, добавил сначала отдельные реквизиты а потом весь справочник - получает 7-ку
Gemini тоже получает 7-ку - потому что откопал откуда то ЗначениеВСтрокуВнутр и сериализовал ей..
Grok 6-ка проблемы со спецсимволами вдруг обнаружились
Задача 9:
В конфигурации 1С Справочник Номенклатура, у него на форме элемента есть элемент с типом "Декорация" с видом "Картинка", называется "Картинка" а также реквизит "Картинка" с типом "ХранилищеЗначения". Напиши код который отображает картинку из реквизита при открытии формы и при нажатии на картинку на форме даёт возможность выбора файла с картинкой и перезаписывает её для элемента
https://github.com/comol/ai_model_1c_vibe_testing/tree/main/Experiments/9
GPT - получает 4-ку... не разобрался
Claude - Тоже 4-ка... ближе, но куча лишнего кода
Gemini написал нормальный код - 9ка
Grok - 7-ка, практически справился
Задача 10:
На форме документа 1С основной реквизит "Объект". У документа есть реквизит "Комментарий". Напиши код, работающий при нажатии на кноку "Записать комментарий", который в комментарий документа добавляет слово "Тест" - к текущему комментарию и записывает документ в базу данных не закрывая формы.
https://github.com/comol/ai_model_1c_vibe_testing/tree/main/Experiments/10
GPT не справился и "Получил двойку"
Claude догадался что там надо делать. Код не то чтобы супер, но основная логика верно
Gemini в принципе написал код который будет работать с натяжкой по данному ТЗ, но так не делают всё таки
Задача 11:
На форме документа 1С есть табличная часть "товары". В документе обычно более 1000 строк. В табличной части есть реквизит "Сумма". Напиши код который работает при нажатии на кнопку "общая сумма" который должен посчитать сумму по всем строкам и вывести её пользователю
https://github.com/comol/ai_model_1c_vibe_testing/tree/main/Experiments/11
Внезапно и очень неожиданно, но с задачей ни справился никто. Тут ключ в задаче в том что надо на сервере пересчитывать конечно.
Итого, если посмотреть на код детальнее - видно что у топовых моделей бывает достаточно неплохое качество кода при нужной сноровки. Открытые модели, к сожалению, ещё пока сильно отстают от проприетарных, но в отдельных кейсах их тоже можно использовать.
