Преобразование в GPT-5: усовершенствования, ограничения и будущие направления разработки моделей большого языка

arXiv:2610.34281v1 Annuales Type: New Humber: Big Language Models (LMS) революционизировали Искусственный интеллект (AI), используя их экстраординарные способности, такие как контекстуальное понимание, мало- и нулевое обучение, кодирование, способность рассуждать и решать проблемы. Недавние исследования показали огромную работу над МЛМ. Тем не менее работа по тщательной таксономии МЛМ носит ограниченный характер. В этом исследовании будет показана подробная классификация МЛМ, начиная с более ранних моделей, таких как БЕРТ и приводящая к таким ММ, как ГПТ, Гемини, Клод и Грок. Мы будем изучать такие темы, как наборы данных, используемые для обучения МЛМ, вычислительная мощность, использованная во время подготовки, их технические спецификации, архитектура и параметры. Кроме того, мы хотели бы также обратить внимание на ограничения, проблемы в области расчетов и открытые проблемы. Основное внимание в этом исследовании будет уделено срокам осуществления МЛМ, что свидетельствует об их росте за этот период. Выводы свидетельствуют о наличии четкой схемы: модели оптимизации соотношения между архитектурными данными