Особенности использования больших языковых моделей при составлении текстовых рефератов

Аннотация

В условиях стремительного увеличения объёма издаваемой научной литературы автоматическое реферирование текстов с помощью технологий искусственного интеллекта становится актуальной задачей. Современные модели реферирования основаны на использовании предварительно обученных больших языковых моделей, развёртывание которых часто требует значительных аппаратных ресурсов. В то же время применение для реферирования текстов специализированных моделей, основанных на той же архитектуре трансформеров, не требует больших аппаратных ресурсов, что позволяет использовать их как на локальных серверах, так и в облачной среде со значительно меньшими затратами.

В статье приводятся результаты оценки на основе метрики ROUGE для рефератов, сформированных на больших языковых моделях MBart (специализированная модель) и T-lite (универсальная модель). Исходные текстовые массивы для анализа формировались из статей, опубликованных в журнале «Научные и технические библиотеки» в 2025 г. Проведённый анализ показал, что лучшие значения метрики ROUGE даёт использование модели MBart. Однако полученные данные не могут свидетельствовать о качестве содержания рефератов, формируемых сравниваемыми моделями, поскольку метрика ROUGE показывает лишь степень совпадения слов и фраз в реферате и эталонном тексте. Вывод авторов заключается в том, что достаточно «лёгкие» модели, такие как MBart, в библиотеках могут быть развёрнуты локально и без использования графического процессора, а это предпочтительнее для их широкого использования на практике.