ИССЛЕДОВАНИЕ БОЛЬШИХ ЯЗЫКОВЫХ МОДЕЛЕЙ НА ЗНАНИЕ СПЕЦИФИКИ ЖЕЛЕЗНОДОРОЖНОГО ТРАНСПОРТА

Аннотация

Большие языковые модели LLM (Large Language Model) в последние годы позволили добиться значительного прогресса в области обработки естественного языка. Эти модели, использующие передовые методы нейронных сетей и огромные объемы обучающих данных, продемонстрировали возможности в понимании и создании человекоподобного текста. Языковые модели имеют большой потенциал для решения актуальных задач поиска информации по запросу пользователя. Большие языковые модели могут внести значительные изменения в образовательный процесс, адаптируясь на текущий уровень подготовки пользователя.
Проведенные исследования по использованию ChatGPT, также известной как Chat Generative Pre-Trained Transformer, для решения тестов экзамена на получение медицинской лицензии в США (USMLE) [16], подтвердившие способность ChatGPT перейти порог для получения лицензии, а так же проведение ряда экспериментов по применению различных LLM для решения ЕГЭ, подтверждают высокий потенциал использования больших языковых моделей для решения задач, которые ранее с требуемым уровнем качества решались исключительно с привлечением человеческих ресурсов.
В статье приведены результаты исследований, направленных на изучение знаний специфики железнодорожного транспорта различными языковыми моделями. Четыре доступных языковых модели протестированы с помощью тестов по железнодорожной тематике.
На основе полученных результатов сформулирован следующий вывод: информация в области железнодорожного транспорта в данных моделях представлена в ограниченном объеме не достаточном для построения интеллектуальной системы, помогающей пользователю изучать железнодорожный транспорт или использоваться в качестве системы поддержки принятия решения в транспортной отрасли. В связи с этим задача создания больших языковых моделей дообученных на материалах транспортной отрасли является актуальной.