Описание OneBridge
OneBridge - это система управления данными, разработанная для автоматизации сбора, преобразования и выгрузки данных в соответствии с заданными пользователем параметрами.
Система включает три основных компонента: Дизайнер, Сервер OneBridge и Панель администрирования.
- Дизайнер нужен для создания и редактирования сценариев обработки данных.
- Сервер Onebridge состоит из ядра и менеджера задач. Ядро управляет ресурсами и взаимодействует с внутренней базой данных, а менеджер задач нужен для оркестрации задач по выполнению сценариев обработки данных.
- Панель администрирования используется для наблюдения за употреблением ресурсов сервера, результатами обработки данных, настройкой отложенного выполнения сценариев, управления пользователями.
Набор готовых алгоритмов обработки упрощает процесс управления данными и ускоряет загрузку и выгрузку данных.
Система может взаимодействовать с различными источниками данных и позволяет проверить, очистить и получить качественные данные для дальнейшего использования.
Пользователи системы - разработчики, которые создают и поддерживают, например, корпоративные хранилища данных и нормативно-справочные информационные системы.
Схема работы Onebridge
Содержание раздела:
Функции OneBridge
Система выполняет графы по обработке данных (графы). Для запуска графа пользователю нужно выбрать файл с готовым набором алгоритмов обработки данных, указать параметры запуска и запустить граф в работу.
Взаимодействие пользователя с системой может происходить двумя способами:
- с помощью веб-приложения - Панель администрирования позволяет запустить графы в работу, отследить данные о состоянии сервера, настроить расписания запусков графов и обработчики событий;
- через локальное приложение Дизайнер - он используется для создания графов через визуальный редактор.
В обоих случаях после запуска графы обрабатываются в Сервер OneBridge.
Компоненты OneBridge
Дизайнер
Дизайнер - это локальное приложение для создания, редактирования, отладки и запуска графов. Подробное описание доступно в разделе Дизайнер.
Создание графов в дизайнере происходит с помощью графического интерфейса. Процесс создания графа описан в главе Создание графов.
Главные компоненты графов - узлы - представлены в виде прямоугольников, которые можно соединять друг с другом рёбрами и располагать в рабочей области нужным образом. С помощью дизайнера задаются параметры запуска, настраиваются соединения с базами данных, определяются метаданные.
Результатом создания, настройки и объединения компонентов является xml-файл с алгоритмом обработки данных, который можно запустить из дизайнера или из Панели администрирования. Обработка графов происходит на сервере Onebridge.
Панель администрирования
Панель администрирования предназначена для управления проектами, пользователями и ролями, для отслеживания истории выполнения графов и настройки расписаний их выполнения и обработчиков событий. Также возможно отслеживание данных о состоянии сервера системы. Подробнее об этом модуле в разделе Панель администрирования.
Панель администрирования состоит из нескольких компонентов:
- на странице «Ресурсы» отображаются показатели рабочего сервера системы и список графов, находящихся в процессе выполнения;
- страница «История выполнения» показывает историю запуска графов на выполнение и развёрнутую информацию о файлах графов;
- с помощью страницы «Проекты» можно увидеть дерево проектов, просмотреть подробную информацию о файлах графов и содержимое выбранного файла в текстовом или графическом виде.
- Расписания позволяют настраивать отложенный запуск графов.
- Обработчики событий могут совершать заданное действие в ответ на выполнение определённого пользователем условия.
- На странице "Пользователи" доступен просмотр и редактирование информации о пользователях.
Панель администрирования обеспечивает:
- отображение информации о ресурсах и производительности сервера;
- просмотр истории выполнения графов в виде таблицы;
- фильтрацию истории по времени выполнения графа, по названию файла исполняемого графа;
- просмотр информации о файле графа;
- просмотр алгоритма графа в графическом виде;
- просмотр журнала выполнения графа;
- отображение структуры хранения файлов с графами;
- выбор и запуск графа на выполнение;
- создание и редактирование расписаний и обработчиков событий;
- создание, редактирование и удаление проектов, папок и файлов с данными.
- создание, редактирование и удаление пользователей, их ролей и привилегий.
Сервер OneBridge
Сервер обрабатывает данные по алгоритму, который выбрал пользователь, и собирает статистику использования своих ресурсов. Сервер OneBridge состоит из инструкций по обработке данных и содержит программные интерфейсы для передачи необходимой информации в панель администрирования и взаимодействия с рабочими процессами. Подробнее про сервер в разделе Сервер OneBridge.
Сервер OneBridge обеспечивает:
- загрузку данных из источников - файлы CSV, базы данных;
- обработку данных по указанному алгоритму - сортировка, фильтрация, преобразование данных;
- отправку обработанных данных по указанному адресу - запись в файл, в базу данных, в корпоративное хранилище данных;
- администрирование расписаний и обработчиков событий;
- распределение нагрузки между рабочими процессами, которые загружают и обрабатывают данные.