Что такое датасет и зачем он нужен в библиотеке

Аннотация

В представленной статье рассматривается концепция датасетов, предназначенных для задач машинного обучения алгоритмов/моделей синтетических нейронных сетей, то есть моделей искусственного интеллекта. В Российской Федерации реализуется Стратегия развития информационного общества на 2017–2030 гг., цель которой формирование в стране общества знаний. Современные библиотеки уже аккумулируют, сохраняют и распространяют существующие знания, а в рамках работы с датасетами выступают провайдерами концепции этой стратегии. Датасет можно определить как структурированный набор данных, в котором они организованы для решения тех или иных задач, к тому же структура датасета, в свою очередь, конструктивно зависима от типа, характера и формализованности первичных данных. Для обоснования этого утверждения и подготовлена настоящая статья. В тексте приводятся две базовые технологические модели формирования датасета (набора данных на основе текстового корпуса).