Теперь Илон Маск за год попытается решить задачу покруче даже полета на Марс.

xAI запустила Colossus — самый мощный в мире кластер искусственного интеллекта.

Photo by Mariia Shalabaieva on Unsplash

Будущее человечества в значительной мере зависит от прогресса ИИ-технологий.

А этот прогресс (как мы понимаем его сегодня) сильно зависит от пределов масштабирования интеллектуальности ИИ-систем при увеличении вычислительной мощи компьютеров, на которых эти системы будут работать.

Таким образом теперь все упирается в ответ на вопрос – каковы пределы такого масштабирования?

Можно как угодно относиться к Маску, но он не только взялся ответить на этот вопрос, но и собирается сделать это уже в следующем году.

• Модель Grok 2 от xAI Илона Маска недавно догнала GPT-4 от OpenAI за рекордное время, будучи обучена всего на 15 000 графических процессоров.

• Вчера xAI запустила Colossus — самый мощный в мире кластер искусственного интеллекта, работающий на базе аж 100 000 графических процессоров Nvidia H100.

• Colossus был построен всего за 122 дня и, как планируется, вскоре его размер удвоится до 200 000 графических процессоров (50 000 H200).

• Увеличение вычислительной мощности на 1.5 порядка позволит вплотную приблизиться к точке возможного перегиба тренда масштабируемости ИИ-систем.

• А за этой точкой будет ответ:

– либо рост интеллектуальности замедлится (например, из-за высокой стоимости вычислений);

– либо вообще остановится (из-за архитектурных ограничений моделей)

– либо пойдет дальше (и тогда, привет ИИ-сингулярность!)

Интрига Маска в том, что OpenAI предполагали достичь этой точки лишь в 2027. А Маск, включившись в игру, имеет все основания, чтобы сделать это на 2 года раньше.

Источник