Описание OneBridge
OneBridge - это система управления данными, разработанная для автоматизации сбора, преобразования и выгрузки данных в соответствии с заданными пользователем параметрами.
Система включает три основных компонента: Дизайнер заданий, модуль управления и модуль выполнения заданий.
- Дизайнер нужен для создания и редактирования сценариев обработки данных.
- Модуль управления используется для наблюдения за употреблением ресурсов сервера, результатами обработки данных, настройкой отложенного выполнения сценариев, управления пользователями.
- Модуль выполнения состоит из ядра, которое управляет ресурсами и взаимодействует с внутренней базой данных, и менеджера задач, который нужен для оркестрации задач по выполнению сценариев обработки данных.
Набор готовых алгоритмов обработки упрощает процесс управления данными и ускоряет загрузку и выгрузку данных.
Система может взаимодействовать с различными источниками данных и позволяет проверить, очистить и получить качественные данные для дальнейшего использования.
Пользователи системы - разработчики, которые создают и поддерживают, например, корпоративные хранилища данных и нормативно-справочные информационные системы.
Схема работы Onebridge
Содержание раздела:
Функции OneBridge
Система выполняет задания по обработке данных. Для запуска задания пользователю нужно выбрать файл с готовым набором алгоритмов обработки данных, указать параметры запуска и запустить задание в работу.
Взаимодействие пользователя с системой может происходить двумя способами:
- с помощью веб-приложения - Модуль управления позволяет запустить в работу задания на обработку данных, просмотреть задания в виде графа, отследить данные о состоянии сервера системы, настроить расписания запусков заданий и обработчики событий;
- через локальное приложение Дизайнер заданий - он используется для создания алгоритмов заданий через графический редактор.
В обоих случаях после запуска задания обрабатываются в Модуле выполнения заданий.
Компоненты OneBridge
Дизайнер заданий
Дизайнер заданий - это локальное приложение для создания, редактирования, отладки и запуска файлов заданий. Подробное описание доступно в разделе Дизайнер заданий.
Создание заданий в Дизайнере происходит с помощью графического интерфейса. Процесс создания задания описан в главе Создание заданий.
Главные компоненты заданий - Шаги - представлены в виде прямоугольников, которые можно соединять друг с другом рёбрами и располагать в рабочей области нужным образом. С помощью Дизайнера задаются параметры запуска, настраиваются соединения с базами данных, определяются метаданные.
Результатом создания, настройки и объединения компонентов является xml-файл с алгоритмом обработки данных, который можно запустить из Дизайнера или из Модуля управления. Обработка заданий происходит в Модуле выполнения.
Модуль управления
Модуль управления предназначен для выбора и запуска в работу заданий на обработку данных, отображения в графическом виде алгоритмов заданий, отслеживания данных о состоянии сервера системы, запуска заданий по графику и администрирования пользователей. Подробнее об этои модуле в разделе Модуль управления.
Модуль управления состоит из нескольких компонентов:
- на странице «Ресурсы» отображаются показатели рабочего сервера системы и список заданий, находящихся в процессе выполнения;
- страница «История выполнения» показывает историю запуска заданий на выполнение и развёрнутую информацию о файлах заданий;
- с помощью страницы «Проекты» можно увидеть дерево проектов, просмотреть подробную информацию о файлах заданий и содержимое выбранного файла в текстовом или графическом виде.
- Расписания позволяют настраивать отложенный запуск заданий.
- Обработчики событий могут совершать заданное действие в ответ на выполнение определённого пользователем условия.
- На странице "Пользователи" доступен просмотр и редактирование информации о пользователях.
Модуль управления обеспечивает:
- отображение информации о ресурсах и производительности сервера;
- просмотр истории выполнения заданий в виде таблицы;
- фильтрацию истории по времени выполнения задания, по названию файла исполняемого задания;
- просмотр информации о файле задания;
- просмотр алгоритма задания в графическом виде;
- просмотр журнала выполнения задания;
- отображение структуры хранения файлов с заданиями;
- выбор и запуск задания на выполнение;
- создание и редактирование расписаний и обработчиков событий;
- создание, редактирование и удаление проектов, папок и файлов с данными.
- создание, редактирование и удаление пользователей, их ролей и привелегий.
Модуль выполнения заданий
Модуль выполнения заданий обрабатывает данные по алгоритму, который выбрал пользователь, и собирает статистику использования ресурсов сервера. Этот модуль состоит из инструкций по обработке данных и содержит программные интерфейсы для передачи необходимой информации в модуль управления заданиями и взаимодействия с рабочими процессами. Подробнее про модуль выполнения в разделе Модуль выполнения заданий.
Модуль выполнения заданий обеспечивает:
- загрузку данных из источников - файлы CSV, базы данных;
- обработку данных по указанному алгоритму - сортировка, фильтрация, преобразование данных;
- отправку обработанных данных по указанному адресу - запись в файл, в базу данных, в корпоративное хранилище данных;
- администрирование расписаний и обработчиков событий;
- распределение нагрузки между рабочими процессами, которые загружают и обрабатывают данные.
Терминология
Шаг – минимальный алгоритм обработки информации.
Задание – алгоритм, последовательность шагов, описанная в файле.
Граф – разновидность задания, наименьшая исполняемая единица рабочего процесса. Графы состоят из шагов, имеющих порты для ввода и вывода данных. Порты шагов в графе соединены линиями - ребрами графа, которые отражают передачу данных между портами шагов.
Входной порт – точка входа потока данных в шаг.
Выходной порт – точка выхода результата обработки данных из шага.
Ребрам назначаются метаданные. Метаданные описывают структуру данных. Они состоят из названий полей, типов данных и их размера.
Задача — это граф, поток заданий или другое действие, которое можно запустить вручную, с помощью расписания или обработчика событий. Задача описывает «что нужно сделать».
Источник данных – это массив информации, откуда данные загружаются в систему для обработки.
Приемник данных – целевая система, куда выгружаются данные после обработки. Это может быть база данных, простой файл, интернет-ресурс и так далее.
Плоский файл – это файл, в котором данные хранятся в виде записей. Записи отделяются друг от друга специальным символом-разделителем. Внутри каждой записи может быть несколько полей разных типов. Поля тоже разделяются символом-разделителем.
Расписание – график запуска заданий. Позволяет настроить запуск заданий в конкретное время.
Обработчик событий - инструмент для отслеживания изменений в системе и совершения запланированных действий.