Ера гігантських моделей AI добігла кінця

CEO OpenAI Сем Альтман виступив у Массачусетському технологічному інституті на заході «Imagination in Action», присвяченому AI-орієнтованому бізнесу. Глава дослідницької лабораторії висловив припущення, що вже наявні гігантські моделі штучного інтелекту навряд чи стануть ще більшими. Швидше за все, сьогодні можна спостерігати їхню граничну величину.

Один із головних факторів, що перешкоджають прогресу великих мовних моделей (LLM), – надзвичайно високі та нестабільні витрати на потужні графічні процесори. Наприклад, для навчання широко відомого чат-бота зі штучним інтелектом ChatGPT знадобилося понад 10 тисяч таких процесорів, а для роботи у режимі 24/7 йому потрібно ще більше. Вартість нових графічних процесорів Nvidia H100, які були розроблені спеціально для виконання високопродуктивних обчислень (HPC) та AI, може досягати $30 600 за одну штуку. За словами співзасновника та CTO компанії Run AI Ронена Дара, на навчання LLM наступних поколінь знадобиться обчислювальний ресурс, ціна якого становитиме сотні мільйонів доларів.

Як же тоді розвиватимуться великі моделі AI? «Ми зробимо їх краще іншими способами», – зазначив у своєму виступі Сем Альтман. У зв'язку зі стрімким збільшенням фінансових витрат розробники LLM замість масштабування покращуватимуть їхню архітектуру, просуватимуть алгоритмічні методи та підвищуватимуть ефективність даних. Одним словом, вони планують перенести акцент із кількості на якість. AI це піде лише на користь.