27 октября 2026 года Artificial Analysis выпустила пятую версию Intelligence Index, сводного рейтинга, по которому ИИ-лаборатории и разработчики сравнивают модели. Это крупнейшее обновление с января, когда вышла v4: в индекс добавили два новых теста, три обновили и три убрали.
Главное изменение в том, что 60% индекса теперь считается по тестам с закрытыми наборами задач или скрытыми ответами. Такие тесты сложнее «выучить»: задач нет в открытом доступе, и они не попадают в обучающие данные моделей.
- В v5 добавили FrontierCode 2.0 и Terminal-Bench-Science, обновили HLE-Diamond, AA-Omniscience и CritPt, убрали GDPval-AA, SciCode и AA-LCR
- 60% индекса теперь построено на закрытых наборах задач или скрытых ответах
- На старте лидировала Claude Opus 5.5 с 58 баллами, через день первой стала Gemini 4 Carbon с 59
- Разрыв между закрытыми и открытыми моделями вырос с 3 до 12 баллов
- Медианный расход выходных токенов на задачу вырос с 35 до 59 тысяч, а стоимость задачи у лидеров отличается больше чем в 13 раз
Что изменилось в составе индекса
Новых тестов два. FrontierCode 2.0 от Cognition, разработчика агента Devin, состоит из 132 задач в реальных открытых репозиториях. Задачу засчитывают, только если мейнтейнер принял бы изменение агента: провал любой блокирующей проверки даёт ноль, а сами задачи закрыты, чтобы модели не видели их при обучении. Terminal-Bench-Science содержит 70 научно-исследовательских задач, которые агент выполняет в терминале, задача проходит, только если пройдены все её тесты.
Три теста обновили:
- HLE-Diamond заменил Humanity's Last Exam: это очищенная версия из 1000 вопросов, поровну на рассуждения и на знания;
- в AA-Omniscience v1.1 убрали вопросы, которые модели уже решают почти все, и вопросы из открытого набора, добавили новые и исправили неоднозначные;
- CritPt v2 теперь считается по закрытому подмножеству из 40 сложных задач по физике, модели решают их с инструментом для выполнения кода.
AA-Briefcase, AutomationBench-AA, GDP.pdf и Terminal-Bench 4.0 остались в индексе. Убрали GDPval-AA v2.1, SciCode и AA-LCR v1.1.
Веса Intelligence Index v5
| Категория | Тест | Вес |
|---|---|---|
| Работа с документами и задачами | AA-Briefcase | 15% |
| Работа с документами и задачами | AutomationBench-AA | 5% |
| Работа с документами и задачами | GDP.pdf | 5% |
| Программирование | FrontierCode 2.0 | 15% |
| Программирование | Terminal-Bench 4.0 | 10% |
| Наука | Terminal-Bench-Science | 15% |
| Наука | CritPt v2, сложное подмножество | 10% |
| Общие знания | AA-Omniscience v1.1 (10% точность, 5% отсутствие галлюцинаций) | 15% |
| Общие знания | HLE-Diamond | 10% |
Artificial Analysis
Кто лидирует
В день запуска v5 первой была Claude Opus 5.5 в режиме max с 58 баллами, за ней GPT-6 Astra с 57 и GPT-6.1 Sol с 55. Первые пять мест заняли модели Anthropic и OpenAI, Gemini 4 Argon оказалась следующей с 50 баллами.
Расклад продержался день. 28 октября Google анонсировала Gemini 4 Carbon, и Artificial Analysis поставила её на первое место с 59 баллами. Обновлённый рейтинг есть на сайте Artificial Analysis.
Ни одна модель не лидирует во всех девяти тестах. Claude Opus 5.5 первая в трёх, остальные шесть делят пять других моделей:
- Claude Opus 5.5: FrontierCode 2.0 (46%), HLE-Diamond (68%) и AA-Omniscience v1.1 (48 баллов);
- GPT-6 Astra: Terminal-Bench-Science (63%) и CritPt v2 (72%);
- Claude Sonnet 5.5: AA-Briefcase (1812 пунктов Эло);
- Kimi K3.1 Pro: Terminal-Bench 4.0 (67%);
- Gemini 4 Argon: AutomationBench-AA (78%);
- Muse Wonder Full: GDP.pdf (33% задач решены полностью).
На FrontierCode 2.0 за Claude Opus 5.5 с 46% идут GPT-6 Astra, GPT-6.1 Terra и Claude Sonnet 5.5, у всех по 42%. Лучшая открытая модель в этом тесте, DeepSeek V4.1 Flash 1017, набрала 28%.
В HLE-Diamond вопросы на знания оказались для лидеров сложнее вопросов на рассуждения: Claude Opus 5.5 и GPT-6 Astra набирают по 78% на рассуждениях и только 58% и 50% на знаниях.
Открытые модели отстали сильнее
Лучшая модель с открытыми весами, Kimi K3.1 Pro, набрала 46 баллов, но её веса ещё не опубликованы. Отставание от лидера выросло до 12 баллов, в v4.3 было 3. Среди моделей, чьи веса уже можно скачать, первые DeepSeek V4.1 Flash 1017 и GLM-5.3 с 32 баллами, ниже Claude Haiku 5.5 с 36.
Сильнее всего разрыв на HLE-Diamond и Terminal-Bench-Science: у Kimi K3.1 Pro там 37% и 34% против 68% у Claude Opus 5.5 и 63% у GPT-6 Astra.
Сколько стоит интеллект
Стоимость одной задачи индекса среди десяти лидеров отличается больше чем в 13 раз: от $0,96 у GPT-6.1 Terra до $13,04 у Claude Fable 5.1. Claude Opus 5.5 обходится в $10,04 за задачу, GPT-6 Astra в $6,24, GPT-6.1 Sol в $1,27. Sol отстаёт от Opus 5.5 на 3 балла и стоит примерно в восемь раз дешевле.
В v5 сильнее влияет уровень усилий рассуждения. Claude Opus 5.5 на низком уровне набирает 35 баллов за $0,98 на задачу, на максимальном 58 за $10,04. У Claude Sonnet 5.5 разница между низким и максимальным уровнем выросла с 20 до 29 баллов, у GPT-6.1 Sol удвоилась с 10 до 20.
Задачи стали объёмнее: каждая модель тратит больше выходных токенов на задачу, чем в v4.3, медиана выросла с 35 до 59 тысяч. Агентные тесты Terminal-Bench-Science, Terminal-Bench 4.0, AA-Briefcase и FrontierCode 2.0 дают 55% веса индекса и около 90% выходных токенов, на один Terminal-Bench-Science приходится примерно треть.
Gemini 4 Carbon, которая появилась в рейтинге на следующий день, по данным Artificial Analysis потратила на весь индекс 200 млн выходных токенов при медиане 64 млн, а задача обошлась в $7,76.
Progress Index: шкала для сравнения поколений
Вместе с v5 Artificial Analysis запустила Progress Index v1. Он ставит на одну шкалу языковые модели, вышедшие с ноября 2022 года, и показывает, как росли возможности со временем, в том числе между моделями с разницей в несколько лет. При проектировании компания опиралась на Epoch Capabilities Index от Epoch AI. Для выбора модели под текущие задачи Artificial Analysis советует смотреть Intelligence Index, а не Progress Index.
Методика Intelligence Index опубликована на сайте Artificial Analysis.