Завершение работы над разработкой планируется в 2024 году. По прогнозам, платформа будет гораздо мощнее выпущенной два месяца назад Llama 2.
Разрабатываемая система поможет другим фирмам создавать сервисы, которые в числе прочего будут генерировать сложный текст и аналитику. Старт обучения этой системы, представляющей собой большую языковую модель, запланирован на начало 2024 года.
Предполагается, что обучение будет проходить на собственной инфраструктуре Meta. Компания наращивает мощности в сфере обработки данных и закупает чипы Nvidia H100 – самые современные чипы Nvidia Corp. для обучения ИИ-моделей, отмечает газета.
Большие языковые модели, в частности, используются для формирования связного текста, изображений и программного кода.
Глава Meta Марк Цукерберг хочет сделать новую систему открытой, как предыдущие проекты компании в области ИИ, чтобы другие фирмы могли использовать ее бесплатно. При этом юристы компании в рамках оценки ее планов выразили опасения в связи с этим, указывает WSJ.
Meta рассчитывает, что новая модель будет сравнима по способностям с запущенной в марте GPT-4, которую OpenAI использует в коммерческих проектах вроде представленной в конце августа бизнес-версии ChatGPT.