xAI запустила Colossus — самый мощный в мире кластер искусственного интеллекта.
Photo by Mariia Shalabaieva on Unsplash
Будущее человечества в значительной мере зависит от прогресса ИИ-технологий.
А этот прогресс (как мы понимаем его сегодня) сильно зависит от пределов масштабирования интеллектуальности ИИ-систем при увеличении вычислительной мощи компьютеров, на которых эти системы будут работать.
Таким образом теперь все упирается в ответ на вопрос – каковы пределы такого масштабирования?
Можно как угодно относиться к Маску, но он не только взялся ответить на этот вопрос, но и собирается сделать это уже в следующем году.
[adinserter block=”13″][adinserter block=”16″]План Маска таков.
• Модель Grok 2 от xAI Илона Маска недавно догнала GPT-4 от OpenAI за рекордное время, будучи обучена всего на 15 000 графических процессоров.
• Вчера xAI запустила Colossus — самый мощный в мире кластер искусственного интеллекта, работающий на базе аж 100 000 графических процессоров Nvidia H100.
• Colossus был построен всего за 122 дня и, как планируется, вскоре его размер удвоится до 200 000 графических процессоров (50 000 H200).
• Увеличение вычислительной мощности на 1.5 порядка позволит вплотную приблизиться к точке возможного перегиба тренда масштабируемости ИИ-систем.
• А за этой точкой будет ответ:
– либо рост интеллектуальности замедлится (например, из-за высокой стоимости вычислений);
– либо вообще остановится (из-за архитектурных ограничений моделей)
– либо пойдет дальше (и тогда, привет ИИ-сингулярность!)
Интрига Маска в том, что OpenAI предполагали достичь этой точки лишь в 2027. А Маск, включившись в игру, имеет все основания, чтобы сделать это на 2 года раньше.
Эта рассылка с самыми интересными материалами с нашего сайта. Она приходит к вам на e-mail каждый день по утрам.
