Описание OneBridge

OneBridge - это система управления данными, разработанная для автоматизации сбора, преобразования и выгрузки данных в соответствии с заданными пользователем параметрами.

Система включает три основных компонента: Дизайнер, Сервер OneBridge и Панель администрирования.

• Дизайнер нужен для создания и редактирования сценариев обработки данных.
• Сервер Onebridge состоит из ядра и менеджера задач. Ядро управляет ресурсами и взаимодействует с внутренней базой данных, а менеджер задач нужен для оркестрации задач по выполнению сценариев обработки данных.
• Панель администрирования используется для наблюдения за употреблением ресурсов сервера, результатами обработки данных, настройкой отложенного выполнения сценариев, управления пользователями.

Набор готовых алгоритмов обработки упрощает процесс управления данными и ускоряет загрузку и выгрузку данных.

Система может взаимодействовать с различными источниками данных и позволяет проверить, очистить и получить качественные данные для дальнейшего использования.

Пользователи системы - разработчики, которые создают и поддерживают, например, корпоративные хранилища данных и нормативно-справочные информационные системы.

Схема работы Onebridge

Содержание раздела:

• Функции OneBridge
• Компоненты OneBridge
  • Дизайнер
  • Панель администрирования
  • Сервер Onebridge

Функции OneBridge

Система выполняет графы по обработке данных (графы). Для запуска графа пользователю нужно выбрать файл с готовым набором алгоритмов обработки данных, указать параметры запуска и запустить граф в работу.

Взаимодействие пользователя с системой может происходить двумя способами:

• с помощью веб-приложения - Панель администрирования позволяет запустить графы в работу, отследить данные о состоянии сервера, настроить расписания запусков графов и обработчики событий;
• через локальное приложение Дизайнер - он используется для создания графов через визуальный редактор.

В обоих случаях после запуска графы обрабатываются в Сервер OneBridge.

Компоненты OneBridge

Дизайнер

Дизайнер - это локальное приложение для создания, редактирования, отладки и запуска графов. Подробное описание доступно в разделе Дизайнер.

Создание графов в дизайнере происходит с помощью графического интерфейса. Процесс создания графа описан в главе Создание графов.

Главные компоненты графов - узлы - представлены в виде прямоугольников, которые можно соединять друг с другом рёбрами и располагать в рабочей области нужным образом. С помощью дизайнера задаются параметры запуска, настраиваются соединения с базами данных, определяются схемы данных.

Результатом создания, настройки и объединения компонентов является xml-файл с алгоритмом обработки данных, который можно запустить из дизайнера или из Панели администрирования. Обработка графов происходит на сервере Onebridge.

Панель администрирования

Панель администрирования предназначена для управления проектами, пользователями и ролями, для отслеживания истории выполнения графов и настройки расписаний их выполнения и обработчиков событий. Также возможно отслеживание данных о состоянии сервера системы. Подробнее об этом модуле в разделе Панель администрирования.

Панель администрирования состоит из нескольких компонентов:

• на странице «Ресурсы» отображаются показатели рабочего сервера системы и список графов, находящихся в процессе выполнения;
• страница «История выполнения» показывает историю запуска графов на выполнение и развёрнутую информацию о файлах графов;
• с помощью страницы «Проекты» можно увидеть дерево проектов, просмотреть подробную информацию о файлах графов и содержимое выбранного файла в текстовом или графическом виде.
• Расписания позволяют настраивать отложенный запуск графов.
• Обработчики событий могут совершать заданное действие в ответ на выполнение определённого пользователем условия.
• На странице "Пользователи" доступен просмотр и редактирование информации о пользователях.

Панель администрирования обеспечивает:

• отображение информации о ресурсах и производительности сервера;
• просмотр истории выполнения графов в виде таблицы;
• фильтрацию истории по времени выполнения графа, по названию файла исполняемого графа;
• просмотр информации о файле графа;
• просмотр алгоритма графа в графическом виде;
• просмотр журнала выполнения графа;
• отображение структуры хранения файлов с графами;
• выбор и запуск графа на выполнение;
• создание и редактирование расписаний и обработчиков событий;
• создание, редактирование и удаление проектов, папок и файлов с данными.
• создание, редактирование и удаление пользователей, их ролей и привилегий.

Сервер OneBridge

Сервер обрабатывает данные по алгоритму, который выбрал пользователь, и собирает статистику использования своих ресурсов. Сервер OneBridge состоит из инструкций по обработке данных и содержит программные интерфейсы для передачи необходимой информации в панель администрирования и взаимодействия с рабочими процессами. Подробнее про сервер в разделе Сервер OneBridge.

Сервер OneBridge обеспечивает:

• загрузку данных из источников - файлы CSV, базы данных;
• обработку данных по указанному алгоритму - сортировка, фильтрация, преобразование данных;
• отправку обработанных данных по указанному адресу - запись в файл, в базу данных, в корпоративное хранилище данных;
• администрирование расписаний и обработчиков событий;
• распределение нагрузки между рабочими процессами, которые загружают и обрабатывают данные.

Установка и активация OneBridge

• Установка сервера Onebridge
• Конфигурация сервера OneBridge
• Установка Дизайнера
• Активация OneBridge
• Установка ODBC

Установка сервера Onebridge

Все описанные ниже действия должны производиться на устройстве с операционной системой Ubuntu (поддерживается верси Ubuntu 22.04.3 LTS), либо на виртуальной машине с ОС Ubuntu.

Персонализированнную ссылку на скачивание вашей версии продукта вы получите после подписания лицензионного договора.

Перед началом работы необходимо установить Wget — (GNU Wget) свободную консольную программу для загрузки файлов по сети.

Затем:

1. Открыть командную строку и выполнить команды:

• для скачивания приложения OneBridge с сайта modernsolution.ru:
  wget *ссылка на актуальную версию OneBridge*

• для установки скачанных файлов приложения OneBridge:
  sudo apt install ./onebridge.deb -y

Вместе с файлами приложения OneBridge будут установлены зависимости из следующего списка: build-essential, linux-libc-dev, pkg-config, libssl-dev, libssl3, libgcc-s1, libc6.

После установки файлы OneBridge будут размещены в директории /opt/OneBridge/bin/.

2. Перейти в вышеуказанную директорию с помощью команды cd /opt/OneBridge/bin/.
3. Запустить приложение из директории /opt/OneBridge/bin/, введя команду: ./startup.sh

В случае успешной установки будет получен ответ: Startup.

При первом запуске будет запущен сценарий активации вашей копии продукта. Подробнее процесс описан в разделе Активация OneBridge. После активации нужно запустить приложение повторно.

Для подключения к модулю управления нужно открыть браузер на этой же операционной системе и ввести в поисковую строку локальный ip-адрес и порт подключения вот таким образом: 127.0.0.1:8000.

Откроется начальная страница приложения, с которой можно перейти на любую другую страницу из меню.

Список рекомендуемых браузеров: Google Chrome, Яндекс Браузер, Opera.

Конфигурация сервера OneBridge

Параметры конфигурации системы указываются в файле config.toml в корневой папке проекта. Возможна настройка таких параметров как: адрес подключения интерфейса, параметры авторизации, расположение файлов с логами запусков графов и других. В таблицах ниже все настраиваемые в конфиге параметры описаны более подробно.

http

resources

execution

projects

auth

Установка Дизайнера

Дизайнер поставляется в zip-архиве. Архив содержит папки "cash", "config", "projects", "templates" и файл запуска приложения client.exe.

Для запуска достаточно распаковать архив в предпочитаемую директорию файловой системы и запустить файл client.exe.

Все проекты, скачиваемые с сервера и создаваемые локально по умолчанию будут устанавливаться в папку "projects". Файлы в "templates" содержат параметры и описания компонентов и настройки соединений с базами данных. В "config" лежат файлы конфигурации Дизайнера. В "cash" могут создаваться временные файлы, используемые во время работы.

Активация OneBridge

Активация позволяет убедиться, что ваша копия OneBridge не используется на нескольких устройствах и содержит заявленную версию продукта.

Чтобы активировать вашу копию OneBridge, нужно будет разместить ключ активации в папке ./data/license. Ключ активации представляет собой файл с расширением .lic, который можно получить от сотрудника поддержки OneBridge. Процедура активации однократная и выполняется только при первом запуске системы.

При первом запуске OneBridge создаст папку ./data/license и сгенерирует файл с вашим machine-id. Путь к файлу будет прописан в консоли. Этот файл нужно будет передать сотруднику поддержки СБАР. В ответ вы получите другой файл, который нужно будет положить в папку рядом с machine-id и повторно запустить установку. В случае успешной проверки указанных файлов OneBridge будет активирован и вы сможене использовать все его функции.

При необходимости активации на новом устройстве, нужно будет повторить процедуру обмена файлами при первом запуске системы на этом устройстве.

Установка ODBC

Для доступа к базам данных OneBridge позволяет использовать ODBC. Для работы с конкретной базой понадобится установить соответствующий драйвер.

Ниже приведён пример установки ODBC и драйверов к нему на Linux.

Установка unixodbc

apt install unixodbc-dev

Установка iodbc

apt install odbcinst

Конфигурация odbc

• Файл odbcinst.ini содержит информацию о драйверах доступных всем пользователям.
• Файл odbc.ini содержит информацию о DSN доступных для всех пользователей.

Пример содержимого odbcinst.ini:

[PostgreSQL]  
Description = PostgreSQL driver for Linux & Win32  
Driver = /usr/local/lib/libodbcpsql.so  
Setup = /usr/local/lib/libodbcpsqlS.so  
FileUsage = 1  

Заголовок содержит имя драйвера, в последствии используемое в odbc.ini
Description - описание драйвера
Driver - путь к драйверу
Setup - путь к библиотеке, используемой для установки (важно для GUI)

Пример содержимого odbc.ini:

[PostgreSQL]
Description = Test to Postgres
Driver = PostgreSQL
Trace = Yes
TraceFile = sql.log
Database = nick
Servername = localhost
UserName =
Заголовок - имя DSN
Description - описание DSN
Driver - псевдоним драйвера из odbcinst.ini либо можно указать путь до драйвера
Установка драйверов
Установка драйвера для postgres
Установка драйвера firebird
Password =
Port = 5432
Protocol = 6.4
ReadOnly = No
RowVersioning = No
ShowSystemTables = No
ShowOidColumn = No
FakeOidIndex = No
ConnSettings =

Заголовок - имя DSN
Description - описание DSN
Driver - псевдоним драйвера из odbcinst.ini либо можно указать путь до драйвера

Установка драйверов

Установка драйвера для postgres:

apt-get install odbc-postgresql

Установка драйвера firebird:

apt-get install libfbclient2

Глоссарий

Узел (нода) – минимальный алгоритм обработки информации.

Атрибут узла (ноды) - настройка, с помощью которой можно управлять выполнением каждого узла.

Граф - последовательность компонентов для обработки данных, записанная в файл. Для создания графа используются узлы, рёбра, схемы данных и другие компоненты.

Ребро узла соединяет два узла и передает поток данных между ними. Чтобы данные могли пройти по ребру, ему назначается схема данных.

Схема данных описывают структуру данных, проходящих по ребру. Схема состоит из названий полей и их типов данных.

Входной порт - точка входа потока данных в узел.

Выходной порт - точка выхода потока данных из узла.

Трансформация - код, который определяет, как входные данные преобразуются в выходные данные при прохождении через узел.

Параметр (графа) - неизменяемое значение, используемое для настройки работы графа. Значение параметра задаётся перед запуском и не может быть изменено в процессе работы графа.

Переменная - изменяемое значение, которое может меняться в процессе работы графа и передаваться между графами.

Расписание – график запуска графов. Позволяет настроить запуск графов в конкретное время.

Обработчик событий - инструмент для отслеживания изменений, таких как запуск графа или создание файла, и совершения запланированных действий.

Соединение - строка с настройками для подключения к базе данных.

Справочник - внутренняя таблица для быстрой работы с данными в рамках графа.

Дизайнер

Дизайнер - это локальное приложение для создания и запуска графов.

Все файлы хранятся на сервере, упорядоченные по проектам. OneBridge поддерживает синхронизацию файлов между Дизайнером и сервером, так что ситуации дублирования или потери изменений исключены. Подробнее об устройстве проектов и синхронизации рассказано в главе Проекты.

Создание и редактирование графов в Дизайнере происходит с помощью графического интерфейса на вкладке Ui. Главные компоненты графов - Шаги - представлены в виде прямугольников, которые можно соединять друг с другом рёбрами и располагать в Рабочей области нужным образом. Задание свойств шагов осуществляется через Редактор шага.

Выполнение графов и отслеживание результатов описано в главе Выполнение графов.

Результатом изменений в Рабочей области является автоматически создаваемый xml-файл, в котором прописан алгоритм обработки данных. Текст файла отображается на вкладке Source. Обработка алгоритма происходит на Сервере Onebridge.

Интерфейс Дизайнера

Интерфейс Дизайнера состоит из нескольких панелей:

• Рабочая область со списком компонентов находится в верхней правой части окна. На этой панели вы можете создавать свои графы. Рабочая область имеет две вкладки - Ui и Source. Список компонентов (панель Components) служит для выбора компонентов, которые можно переместить в Рабочую область для создания графа.

• Обозреватель проектов (панель Project structure) находится в верхней левой части окна. На этой панели находятся файлы проектов. Открывать любые файлы можно двойным щелчком - они будут открыты в Рабочей области.

• Структура графа (панель Outline) находится в нижней левой части окна. Панель содержит списки всех частей графа, открытого во вкладке Ui в данный момент, разделенных по группам: Components, Metadata, Parameters, Connections, Dictionary и Lookup table.

• Панель состояний (Console) находится в нижней части окна. Она содержит несколько вкладок с уточняющей информацией.

Над панелью Project structure находится главное меню:

• File - для управления сохранением и открытием файлов
• Run - пункты для запуска графов и их остановки
• View - для управления отображением на Рабочей области (сетка, метаданные на ребрах)

Обзор панелей Дизайнера

Проекты OneBridge

Все файлы хранятся на сервере упорядоченные по проектам. Проекты могут быть скачаны локально в Дизайнер и автоматически синхронизируются в веб-приложении.

Когда проект создаётся локально в Дизайнере - он появляется и на сервере. Для того чтобы скачать проект с сервера в Дизайнер, нужно авторизоваться и выбрать нужный проект, тогда он будет скачан.

• Обозреватель проектов
• Создание и подключение проектов

Обозреватель проектов

В левой части окна Дизайнера находится панель Обозреватель Проектов. На этой панели можно развернуть папки проектов, просмотреть имеющиеся в проектах файлы.

Структура папок проекта внутри Обозревателя проектов

Каждый из проектов будет иметь стандартную структуру проекта, если её не изменить при создании проекта.

Стандартная структура подразумевает набор подпапок в проекте, которые появляются, если при создании проекта стояла галочка "создать проект по шаблону". Ниже в таблице представлено описание шаблонных подпапок.

Так же будет создан файл Workspace.prm, содержащий стандартные параметры проекта.

Создание и подключение проектов

Изначально в Дизайнере не будет проектов, пока не создано подключения к какому-либо серверу. После подключения проекты можно скачать с сервера или создать локально.

Для подключения к серверу, нажмите правую кнопку мыши в области панели Project structure и выберите New server в контекстном меню.

В параметрах подключения укажите URL сервера в формате http://ip-adress:port, логин и пароль пользователя, имеющего доступ. Проверить подключение можно с помощью Test Connection. Чтобы подключиться, нажмите Log in. Чтобы не вводить атрибуты подключения при следующем подключении к проекту с того же сервера, можно отметить чекбокс Remember me.

Затем выберите проект из существующих на сервере или создайте новый, нажмите Next. Проверьте имя проекта и завершите подключение, нажав Finish.

Подключение к новому проекту

Выбор существующего или создание нового проекта

Размещение проекта

После скачивания проекта файлы с размером, превышающим 1Mb, будут отображаться со значком Download и постфиксом-downloadable в названии расширения. Это значит, они не скачались вместе с остальными файлами проекта потому что слишком большие. Но их можно скачать принудительно, выбрав в меню файла пункт Download.

Действия с файлом на панели Project structure

Создание графов

Граф OneBridge — это наименьшая исполняемая единица рабочего процесса. В графе описан процесс преобразования данных.

После создания проекта вы можете создать новый граф, выбрав в контекстном меню проекта New grf file.

Действия с проектом на панели Project structure

Задайте имя графа в открывшемся диалоговом окне. Граф будет помещен в выбранный проект. Расширение .grf будет добавлено к заданному имени автоматически. Затем в панели Project structure появится файл new-graph.grf. Он автоматически откроется в рабочей области сразу после создания.

После создания файл открывается в рабочей области

В верхнем меню во вкладке View можно настроить отображение сетки (Grid), прилипание (Sticking) и отображение метаданных на ребрах (Show metadata).

Настройка отображения вспомогательных элементов

Далее в этой главе описываются следующие темы:

• Размещение компонентов
  • Перемещение нескольких компонентов
  • Добавление заметок
• Редактор шагов
• Соединение компонентов рёбрами
• Структура графа
  • Создание и присвоение метаданных ребру
    • 1) Создание метаданных в редакторе метаданных
    • 2) Подключение файла с внешними метаданными
    • 3) Копирование метаданных из другого графа
    • Назначение метаданных ребру
  • Назначение параметров
    • Создать параметры
    • Добавить ссылку на файл параметров
  • Установка соединения с базой данных
    • Создать подключение
    • Добавить ссылку на файл подключения
  • Добавление словаря
  • Добавление хэш-таблицы

Размещение компонентов

Чтобы создать граф для обработки данных, нужно наполнить граф компонентами. Все доступные к использованию компоненты находятся на правой панели Компоненты.

Найдите шаг FlatFileReader среди шагов группы Readers. Перетащите его из списка компонентов в Рабочую область.

Размещение первого компонента в Рабочей области

Сделайте то же самое с FlatFileWriter из группы Writers. Поместите их в ряд, слева направо.

Размещение компонента для записи

Перемещение нескольких компонентов

Для того чтобы переместить компонент, нужно захватить его курсором и перетянуть в нужное место, затем отпустить. Для перетаскивания нескольких компонентов нужно сначала выделить их, затем перетаскивать все вместе.

Для множественного выделения нужно зажать CTRL и затем прокликать все компоненты, которые нужно выделить. Либо зажать CTRL и курсором нарисовать прямоугольник вокруг нужных компонентов.

Выделенные компоненты получают жирную чёрную рамку. Рёбра всегда выделяются вместе с шагом, из которого выходят.

Чтобы сбросить выделение, зажмите CTRL и кликните на пустом пространстве Рабочей области.

Добавление заметок

Еще одним видом компонентов являются заметки - в них можно записать дополнительную информацию к графу, например, объяснить логику работы сложного графа. Заметка всегда располагается под шагами и может служить контейнером для них. Чтобы закрепить шаг на заметке, атрибуту шага parent присваивается значение id заметки - parent="Note0". В рабочей области во вкладке Ui в правом верхнем углу шага появится значок замка, это значит, что данный шаг закреплен на заметке.

Компонент Note (заметка) можно найти на панели компонентов в группе Others. Перетащив заметку на рабочую область можно задать ей размер, потянув за правый нижний угол.

Добавление заметки к графу

Дважды кликните на область заметки, чтобы открыть редактор текста заметки. Атрибуты заметки настраиваются в редакторе на вкладке Attributes.

Редактирование текста заметки

Изменение атрибутов заметки

Когда граф и все входные данные для него готовы, можно запустить его в работу. Запуск и выполнение подробно описаны в следующей главе - "Выполнение графов".

Редактор шагов

Для того чтобы настроить или изменить значения атрибутов шага, используйте Редактор шага. Его можно открыть дважды кликнув по пустому пространству на поверхности шага. Чтобы сохранить изменения значений атрибутов, нажмите Save. Для отмены всех внесённых изменений - Cancel.

Настройка шага в Редакторе

Соединение компонентов рёбрами

Теперь нужно соединить компоненты ребром. Для этого есть два способа:

• Можно нажать на выходной порт FlatFileReader, появится ребро красного цвета с незакреплённым концом. Перетащите свободный конец ребра на входной порт FlatFileWriter.
• Быстрое соединение - зажать курсором выходной порт первого шага и протянуть, не отпуская, до входного порта второго шага.

Соединение компонентов ребром

Ребро по-прежнему красного цвета, поскольку ему не назначены метаданные. Чуть ниже описано создание и присвоение метаданных ребру.

Структура графа

Все компоненты, используемые в текущем графе, отображаются на панели Outline.

Щелкнув по имени компонента вы перейдёте в редактор выбранного шага.

Список компонентов текущего графа

Создание и присвоение метаданных ребру

Чтобы передавать данные между компонентами графа, необходимо задать метаданные и присвоить их рёбрам графа. Метаданные в графе можно задать тремя способами:

1. Создать через редактор метаданных.
2. Подключить файл с внешними метаданными.
3. Скопировать метаданные из другого графа и вставить в текущий.

1) Создание метаданных в редакторе метаданных

На панели Outline откройте контекстное меню группы Metadata -> New Metadata, откроется редактор метаданных.

Здесь можно задать имя метаданных и разделитель записей. Чуть ниже определить имена, типы и разделитель полей.

Кнопкой + создайте новую запись и укажите ее атрибуты. Сохраните изменения кнопкой Save.

Создание метаданных

2) Подключение файла с внешними метаданными

Для подключения внешних метаданных нужно указать ссылку на файл, в котором они описаны. На панели Outline в контекстном меню группы Metadata выберите Link metadata. В поле fileURL укажите путь к файлу с описанием метаданных.

Подключение файла метаданных

3) Копирование метаданных из другого графа

Метаданные можно копировать из графа в граф. Для этого в панели Outline откройте контекстное меню нужных метаданных -> Copy metadata.

В графе, в который метаданные нужно вставить, в панели Outline откройте контекстное меню блока Metadata -> Paste metadata.

При попытке вставить метаданные с именем, аналогичным тому, что уже есть в графе - они будут вставлены с постфиксом "Copy + номер копии".

Назначение метаданных ребру

Назначить созданные метаданные ребру графа возможно несколькими способами:

• В контекстном меню ребра выберите пункт Edit, откроется редактор ребра. Для атрибута Metadata выберите из выпадающего списка нужное имя метаданных, сохраните изменения кнопкой Save.
• Перетащить на ребро нужные метаданные с панели Outline методом drag-and-drop.

Назначение метаданных

Метаданные назначены

Назначение параметров

Иногда бывает удобно создать константу, чтобы переиспользовать её в нескольких местах внутри графа. Параметры можно создать в графе либо указать ссылку на файл с описанием параметров.

Создать параметры

Чтобы создать параметр, перейдите в редактор параметров из панели Outline: Parameters -> Edit parameters.

Создание параметров

Созданный параметр можно указать используя синтаксис ${parametr_name}.

Использование параметра

Добавить ссылку на файл параметров

Чтобы добавить в граф ссылку на файл с описанием параметров, откройте редактор ссылок параметров из панели Outline: Parameters -> Link parameters. Вставьте путь к файлу параметров в поле fileURL.

Подключение файла параметров

Установка соединения с базой данных

Для корректной работы некоторых шагов нужно создать подключение к базе данных. Возможно описать соединение в графе либо привязать ссылку на отдельный файл с описанием соединения.

Создать подключение

На панели Outline щелкните правой кнопкой мыши по Connections -> New connection, чтобы создать новое внутреннее соединение с базой.

Для создания соединения выберите один из доступных драйверов и заполните атрибут URL по приведённому шаблону. Для подключения через ODBC используйте строку подключения, начинающуюся с odbc:..., добавив имя драйвера и остальные стандартные настройки подключения к выбранной базе.

Создание соединения

Добавить ссылку на файл подключения

На панели Outline щелкните правой кнопкой мыши по Connections -> Link connection, чтобы подключить файл, содержащий конфигурацию соединения с нужной базой данных. Заполните атрибут dbConfig, указав путь к файлу с параметрами соединения.

Подключение файла соединения

Добавление словаря

В словаре можно хранить данные в рамках запуска графа и передавать данные между всеми компонентами этого графа.

Чтобы создать запись словаря, нужно открыть редактор словаря на панели Outline: Dictionary -> Edit dictionary.

Создание словаря

В редакторе нужно внести имя записи словаря и выбрать его тип. Можно задать значение по-умолчанию.

Редактор словаря

Добавление хэш-таблицы

Чтобы добавить хэш-таблицу, воспользуйтесь редактором хэш-таблиц. Чтобы открыть редактор, в контекстном меню группы Lookup Table на панели Outline выберите Edit lookup table. Для создания хэш-таблицы обязательно заполнить поля Name, Key, Metadata. Если заполнить поле File, будет создан файл, в который данные таблицы будут сохранены. Иначе таблица будет существовать в памяти только на время работы графа.

Меню хэш-таблиц

Редактор хэш-таблиц

Редактор ссылок на хэш-таблицы

Выполнение графов

Когда граф готов, его можно запустить различными способами:

• выбрать Run -> Run graph в главном меню;
• использовать сочетание клавиш Ctrl+R;

Успешное выполнение графа

После запуска графа процесс его выполнения можно увидеть на вкладке Log:

Вкладка Log с журналом выполнения графа

Во время работы графа на каждом ребре отображается количество прошедших по нему записей. Статистику по каждому ребру можно увидеть в виде чисел над ребром: слева число вошедших в ребро записей, справа процент записей от этого количества, которое успешно передано в следующий шаг. Если открыть инспектор ребра, будут видны данные, прошедшие по нему:

Инспектор ребра

Обработка и вывод ошибок

Если при проверке графа или в процессе выполнения графа происходит сбой, ошибки будут выведены в журнал на вкладку Log.

Если ошибка возникла при работе конкретного шага, на нём отобразится восклицательный знак. Наведя курсор на значок можно увидеть всплывающее окно с указанием ошибки, произошедшей в этом шаге.

Вывод ошибок на вкладку Log

Если ошибка обнаружена до начала выполнения, на этапе проверки файла - ошибка будет выведена в журнал, но не отобразится в Рабочей области.

Вывод ошибок на вкладку Log

Вывод ошибок на вкладку Log

Если ошибка связана с работой дизайнера - она будет выведена на вкладку Console, например при попытке запустить еще не сохраненный граф.

Статусы выполнения графа

Исполняемый граф может находиться в одном из следующих состояний:

Каждый шаг так же может иметь статус. Шаги могут получать все те же статусы, что и граф, а также находиться в ожидании (status: Waiting), когда граф еще не запущен либо упал раньше, чем выполнение дошло до данного шага.

Панель администрирования

Панель администрирования Onebridge - это web-приложение для отслеживания производительности сервера, управления пользователями и ролями, запуска и наблюдения за выполнением графов, для создания расписаний запусков и настройки обработчиков событий.

Каждая страница приложения поделена на три панели:

• панель меню;
• рабочая панель;
• панель дополнительной информации.

В меню доступны для перехода несколько функциональных разделов:

• На странице ресурсов отображается информация о задействованных ресурсах сервера и его производительности. Информация сгруппирована на нескольких панелях. Периодичность обновления данных можно настроить.
• На странице истории выполнения отображается история выполнения графов в виде таблицы, каждая строка которой содержит информацию по отдельному графу. Данные в таблице можно фильтровать. Доступен просмотр подробных данных по каждому графу.
• В дереве проектов доступен просмотр информации о графах и их запуск на выполнение.
• С помощью расписаний можно планировать запуск графов.
• Обработчики событий реагируют на произошедшие изменения и запускают выполнение назначенных задач.
• На странице Пользователи доступно администрирование пользователей.
• На странице Роли осуществляется управление ролями.

В следующих главах описан интерфейс и функционал этих разделов.

Просмотр документации

Ссылка на документацию доступна с любой страницы веб-приложения по клику на значок Документация Onebridge в правом верхнем углу экрана приложения.

Переход к документации

Переход к документации

Смена языка

По умолчанию язык интерфейса – русский. Язык можно сменить с помощью переключателя в правом верхнем углу экрана на любой странице приложения. Выберите нужный язык из выпадающего списка.

Смена языка интерфейса

Скрытие панелей

Чтобы скрыть панель меню для улучшения обзора, нажмите кнопку в виде двойной стрелки внизу данной панели. Чтобы раскрыть меню, еще раз нажмите на кнопку в виде стрелки.

Кнопка сворачивания панели меню

Панель меню в свернутом виде

На странице истории можно раздвинуть вкладку с инспектором, чтобы просмотреть особенно большой граф, с помощью кнопки в виде двойной стрелки.

Кнопка для управления размером панели дополнительной информации

Полностью развернутая панель дополнительной информации

Чтобы уменьшить размер панели, нажмите на кнопку повторно.

Ресурсы

Страница ресурсов отображает график зависимости используемых ресурсов от времени, информацию о затраченной памяти сервера, показывает количество запущенных в данный момент графов.

Рабочая панель поделена на несколько областей:

• В блоке «Использование ресурсов» на круговой диаграмме отражается процентное соотношение занятой оперативной памяти сервера ко всей доступной.
• «Рабочий сервер». Раздел содержит информацию о параметрах рабочего сервера.
• «Операционная система». Содержит основную информацию об операционной системе.
• «Производительность». В этом разделе отображаются два линейных графика: «Загрузка памяти» - RAM и «Загрузка ЦП» - CPU, а также столбчатая диаграмма "Графы", демонстрирующая зависимость количества запущенных графов от времени.
• В блоке "Запущено графов" отображаются работающие в данный момент графы. Обновление происходит каждые 5 секунд. По клику на номер графа можно перейти в историю выполнения, чтобы посмотреть подробную информацию про этот запуск.

На странице ресурсов отсутствует панель дополнительной информации.

Интерфейс страницы «Ресурсы»

В блоке «Производительность» видимую область графиков можно менять, с помощью колеса прокрутки мыши или двигая мышкой ползунок с указанием времени под графиком. Ползунок позволяет установить начало и конец временного интервала по отдельности. Выбор временного отрезка проиллюстрирован на следующем рисунке.

Уменьшение временного отрезка на графиках с помощью ползунка

Изменение временного отрезка пригодится, чтобы наблюдать изменения производительности на меньшем промежутке времени, так как по умолчанию выводится информация о последних сутках использования.

Наведя указатель мыши на график, вы увидите всплывающую подсказку с описанием ресурсов в выбранный момент времени.

Всплывающая подсказка на графике производительности

Для лучшей читаемости каждый из графиков можно включить или отключить, щелкнув его метку над областью графиков.

Метки, управляющие видимостью графиков

История выполнения

История выполнения показывает список всех запущенных на сервере графов в порядке их запуска. Вы можете использовать историю выполнения, чтобы узнать, почему граф завершился ошибкой и просмотреть параметры, которые использовались для конкретного запуска и другую информацию о запуске.

Компоненты страницы истории выполнения:

• Интерфейс истории выполнения
• Обзор
• Инспектор
• Отслеживание
• Журнал
• Содержимое файла
• Перезапуск графа

Интерфейс истории выполнения

В рабочую область выводится таблица с основной информацией о произведенных запусках графов: номер запуска, название файла, имя запустившего пользователя, статус и время запуска графа. Процесс, запущенный последним, отображается в таблице выше всех.

Интерфейс страницы "История выполнения"

Чтобы отфильтровать таблицу по дате или названию файла графа, заполните поля фильтров и используйте кнопку "Фильтровать".

Поля для фильтрации таблицы с историей выполнения графов

Обзор

Чтобы просмотреть информацию о конкретном графе, нужно кликнуть соответствующую строку в таблице. Откроется панель дополнительной информации с открытой вкладкой "Обзор". Во вкладке будет отображаться информация о выбранном графе.

Если вы попали на вкладку истории выполнения после запуска графа, нажав на уведомление, то просмотр информации по конкретному графу будет доступен сразу.

На вкладке "Обзор" отображается номер графа, данные о времени выполнения, относительный путь к файлу графа, статус его выполнения и параметры запуска.

Интерфейс вкладки "Обзор"

В таблице ниже описаны данные, отображаемые на вкладке "Обзор".

Инспектор

Графический инструмент "Инспектор", приведенный на рисунке ниже, позволяет пользователю исследовать процесс выполнения графа. Инспектор визуализирует поток данных в виде графа. На графе выводятся компоненты - это шаги алгоритма, они представлены в виде прямоугольников, соединенных линиями. Линии в графе называются рёбрами и отражают потоки данных между компонентами.

Граф может быть очень большим и не помещаться в инспекторе полностью. Чтобы увидеть все компоненты и их связи, нужно перетащить рисунок, зажав его левой кнопкой мыши и потянув, сдвигая в сторону.

Вкладка "Инспектор". Визуальное представление графа, состоящего из нескольких шагов.

Отслеживание

С помощью "Отслеживания" можно увидеть подробные данные по каждому шагу, используемому в графе. Статусы шагов, количество переданных записей, скорость передачи данных.

Вкладка "Отслеживание"

Журнал

На вкладку "Журнал" пишутся логи. Здесь можно будет увидеть ошибку, если она случится в процессе выполнения.

Каждый запуск графа имеет собственный файл журнала. Журнал можно скачать.

Вкладка "Журнал"

Содержимое файла

На вкладку "Содержимое файла" выводится контент файла, актуальный на момент запуска графа.

Вкладка "Содержимое файла"

Перезапуск графа

Для удобства, с любой вкладки панели дополнительной информации можно запустить граф заново с помощью кнопки "Перезапустить".

Если в графе используются параметры, то при перезапуске будут по умолчанию использованы значения из запуска, из которого происходит перезапуск. Значения параметров, указанные в файле графа, учтены не будут.

В окне перезапуска можно ввести новые значения параметров, если это необходимо. При перезапуске будет использовано содержимое файла графа, актуальное на момент перезапуска.

Граф с параметрами из истории. Кнопка перезапуска

В окне перезапуска указано историческое значение параметра SECONDS.

Окно задания параметров перед перезапуском

Значение параметра можно поменять

Перезапущенный граф использует содержимое файла, актуального на данный момент и параметры, введенные в окне перезапуска.

Результат перезапуска с новыми значениями параметров

Проекты

Страница проектов — это место, где отображаются все файлы, хранящиеся на сервере. На рабочей панели этой страницы находится дерево проектов, внутри проектов – папки и файлы. На следующем рисунке приведен внешний вид страницы проектов.

Интерфейс страницы "Проекты"

Чтобы открыть содержимое проекта или папки, нажмите на плюсик "+" слева от названия элемента в дереве. Чтобы свернуть содержимое проекта или папки, используйте минус "-".

Если нажать на название проекта, папки или файла, в правой части экрана появится панель дополнительной информации. На ней есть несколько вкладок для просмотра подробной информации об открытом элементе дерева и его содержимом:

• Для любого элемента дерева доступна вкладка "Обзор". На ней отображаются данные файла или выбранной директории. Запуск графов на выполнение производится на этой вкладке.
• Для файлов с расширением .grf появляется вкладка "Инспектор". На ней можно увидеть процесс выполнения графа в графическом виде.
• Содержимое файлов выводится во вкладку "Содержимое файла", если не превышает объём в 1Мб. При превышении лимита, файл можно просмотреть только через Дизайнер, скачав его вручную.

Далее описано создание проектов и управление их содержимым.

Создать проект

Чтобы создать новый проект, нажмите кнопку Создать новый проект в верхней части рабочей панели на странице "Проекты". Диалог создания проекта показан ниже.

Открытие диалога по созданию нового проекта

Откроется диалоговое окно. Задайте название в поле "Имя проекта" и используйте чекбокс "Шаблон", если хотите, чтобы в новом проекте сразу появились папки для удобства. Нажмите кнопку Создать, чтобы создать проект. Чтобы выйти из диалога без сохранения – нажмите Закрыть.

В случае создания проекта в верхнем правом углу будет выведено уведомление об этом. Название нового проекта появится в дереве проектов.

Пример шаблонного проекта приведён на рисунке ниже:

Новый проект создан

Создать папку

В существующих проектах можно создавать пользовательские папки для упорядочивания файлов внутри ваших проектов.

Для создания папки нажмите на название проекта, в котором нужно создать папку. На панели дополнительной информации отобразится вкладка "Обзор". Из списка действий с проектом выберите Создать папку.

Меню директории при создании папки

Отобразится диалоговое окно. Введите имя папки в поле "Имя папки". Нажмите Создать. Для отмены создания нажмите Закрыть.

Диалог создания папки

После создания папки в верхнем правом углу появится всплывающее уведомление с названием созданного элемента.

Новая папка создана

Создать файл

Файлы можно создавать как внутри проектов, так и внутри папок. Чтобы создать файл внутри папки, выберите соответствующее действие на обзоре той директории, в которой нужно создать файл. В правом верхнем углу вкладки "Обзор" нажмите Создать файл.

Меню директории при создании файла

Откроется диалог создания файла. Путь к создаваемому элементу будет указан в поле "Создать файл в". Задайте название файла вместе с расширением в поле "Имя файла". При необходимости, внесите содержимое файла в поле "Содержимое файла". Нажмите Создать. Для отмены создания нажмите Закрыть.

Диалог создания файла

После создания файла в пустой папке рядом с её значком в дереве проектов появится значок "+". Это значит, что в папке есть элементы. Чтобы посмотреть список элементов, нажмите на "+", директория раскроется и станут видны содержащиеся в ней элементы. Значок "+" при этом изменится на "–".

Новый файл создан

Запуск графов

Чтобы запустить граф в работу, используйте кнопку Запустить граф. В диалоге запуска введите значения параметров, если необходимо, и нажмите Запустить.

Кнопка запуска графа

Диалог запуска графа

Уведомление о запуске графа

Просмотр результата запуска графа

Просмотреть результаты запусков всех графов можно на странице История выполнения.

Другие действия с папками и файлами дерева проектов

Удалить элемент

Чтобы удалить элемент дерева, например файл, используйте кнопку Удалить находясь на вкладке "Обзор" элемента, который собираетесь удалить. Подтвердите удаление, нажав Удалить.

Кнопка удалить

Диалог удаления файла

Переименовать элемент

Любой элемент дерева проектов можно переименовать с помощью кнопки Переименовать.

Переименование папки

Скачать архив

Проект или папку можно скачать целиком в виде архива. Для этого используйте кнопку Скачать в виде архива.

Скачивание проекта в виде архива

Загрузить файлы

Локальные файлы можно загрузить в проект. Для этого воспользуйтесь кнопкой Загрузить файлы.

Загрузка файлов в папку

Редактировать содержимое файла

Содержимое файла можно отредактировать. Для этого нажмите на иконку в виде пишущей ручки на панели дополнительной информации. Вы будете автоматически перенаправлены на вкладку "Содержимое файла".

Включение режима редактирования файла

Чтобы сохранить изменённый файл, нажмите Сохранить.

Сохранение изменений

Чтобы выйти из режима изменения без сохранения, нажмите Закрыть.

Расписания

Раздел расписаний позволяет планировать запуск графов в конкретное время, устанавливаемому пользователем. Периодичность запуска настраивается.

Запланированные расписания представлены в виде таблицы, в которой указан статус расписания (включено/выключено), название расписания и имя запускаемого файла, дата и время последнего и следующего запусков.

Для каждого расписания можно открыть вкладку Обзор и просмотреть подробную информацию - интервал действия, заданные параметры.

Список созданных расписаний

Каждое расписание представляет собой определение времени и периодичности запуска и указание файла графа и параметров для выполнения. После создания расписания можно редактировать значения его атрибутов, например, приостанавливать его выполнение, изменив статус.

Периодичность запуска расписаний:

• один раз - нужно задать время выполнения;
• с интервалом - нужно задать время начала и конца активации;
• расписание. Для создания такого расписания используется cron-выражение.

CRON-выражение используется для настройки триггера, в основном для повторяющегося срабатывания по расписанию. Оно представляет собой строку, состоящую из 7 полей. Эти поля разделены пробелами и содержат любые разрешенные значения в разных сочетаниях.
CRON-выражение может быть простым, например:

• "Срабатывать каждый понедельник в полночь" - 0 0 0 * mon *.

Или более сложным, например:

• "Каждую пятую секунду, в минуты с 3 по 39, ежечасно, в определенные месяцы и дни недели, в течение 10 лет с 2024 по 2034 год" - 0/5 3-39 * ? mar,apr,may wed,thu 2024-2034

Создать расписание

Чтобы открыть диалог создания расписания, нажмите Новое расписание находясь на странице "Расписания".

В открывшемся окне введите имя расписания, периодичность запуска, время активации, выберите файл графа, который надо запустить, при необходимости задайте параметры. Нажмите «Создать», чтобы создать расписание.

Диалог создания нового расписания

Расписание будет создано и запущено в заданное время. Созданное расписание можно увидеть в таблице расписаний. Работающие расписания помечены как включенные с помощью синего переключателя. Чтобы выключить расписание – нажмите на переключатель, чтобы он стал серым.

Список запланированных задач

Выполнение расписания можно проверить на странице «История выполнения».

Проверка запуска запланированной задачи в истории выполнения

Изменить расписание

Для редактирования расписания нажмите значок в виде пишущей ручки на вкладке "Обзор". В открывшемся окне можно изменить тип расписания, время и файл, который будет запущен.

Редактирование расписания

Измененное расписание

Чтобы переименовать расписание, воспользуйтесь меню из трёх точек, введите новое имя расписания.

Переименование расписания

Удалить расписание

Чтобы удалить расписание, нажмите значок мусорного ведра на вкладке Обзор и подтвердите удаление в появившемся диалоговом окне.

Удаление расписания

Обработчики событий

Обработчики событий – это инструменты для отслеживания изменений в системе и совершения запланированных действий. С их помощью можно настроить запуск выполнения определенной задачи, после выполнения указанного события.

Список созданных обработчиков событий

Виды обработчиков:

• обработчики событий привязаны к определенному рабочему процессу и отрабатывают каждый раз, когда рабочий процесс выполняется;
• обработчики файловых событий отслеживают изменения в файловой системе и реагируют на такие изменения запуском определенной задачи.

Обработчики ждут наступления события и запускают определенное в их настройках действие, если событие происходит. Созданные обработчики отображаются в списке обработчиков событий.

Отслеживаются следующие события:

• Завершение работы графа с определенным статусом
• События с файлами – создание/удаление

Список обработчиков содержит следующую информацию:

Типы задач, которые можно выполнить с помощью обработчиков:

• запуск графа;
• выполнение системной команды.

Создать обработчик событий

Чтобы настроить обработчик, выберите Новый обработчик на вкладке Обработчики событий. Появится диалоговое окно для внесения значений атрибутов обработчика событий. Задайте название обработчика, выберите отслеживаемое событие и назначьте действие, которое будет выполнено, когда отслеживаемое событие совершится. Нажмите «Создать».

Создание обработчика событий

Созданный обработчик отобразится в списке.

Список обработчиков событий

Отредактировать обработчик событий

Для того чтобы отредактировать обработчик событий, откройте вкладку Обзор, нажав на имя обработчика. На вкладке Обзор выберите кнопку редактирования в виде карандаша. В открывшемся диалоговом окне внесите изменения в обработчик событий.

Редактирование обработчика событий

Удалить обработчик событий

Чтобы удалить обработчик событий, нажмите кнопку удаления в виде мусорного ведра, подтвердите удаление в диалоговом окне.

Удаление обработчика событий

Управление пользователями

В OneBridge учётные записи пользователей создаются и редактируются на странице "Пользователи".

Пользователям можно назначать роли и привилегии для разграничения прав и уровней доступа.

Ролевая модель описана в главе Права доступа.

Управление пользователями OneBridge

Схема авторизации

В Onebridge существуют два типа пользователей:

• внутренние (метод аутентификации - Internal)
• внешние (метод аутентификации - LDAP)

Когда пользователь вводит логин и пароль на странице авторизации, производится проверка принадлежности пользователя к тому или иному существующему типу. Если в списке внутренних пользователей логин не найден - производится проверка в списке пользователей LDAP. Если логин не найден и там, выдается ошибка авторизации. В случае если пользователь найден по логину в одном из списков, сразу производится проверка совпадения паролей, если она пройдена, то пользователь получает ключ авторизации и входит в систему.

Схема авторизации пользователя в OneBridge

Далее описаны возможные действия с учётными записями пользователей:

• Создание нового пользователя
• Изменение записи пользователя
• Включение и отключение пользователей
• Недействительный пароль
• Назначение ролей и привилегий

Создание нового пользователя

Чтобы создать пользователя, нажмите Добавить нового пользователя. Появится диалоговое окно для внесения данных.

Внесите обязательную информацию, такую как логин, имя и почту. Нажмите Создать для создания и Закрыть для выхода из диалога без сохранения пользователя.

Создание пользователя

Если пользователь создан, появится окно с назначенным ему паролем. Пароль нужно скопировать, чтобы использовать для первой авторизации пользователя.

Сохранение дефолтного пароля пользователя

Всю доступную информацию о пользователе можно просмотреть на вкладке Обзор, кликнув на строку с его именем.

Просмотр информации о пользователе

В Обзоре отображаются следующие данные о пользователе:

Изменение записи пользователя

Для изменения данных пользователя нажмите кнопку Редактировать пользователя в виде карандаша на вкладке Обзор. В открывшемся диалоге внесите изменения, затем нажмите Сохранить для сохранения изменений или Закрыть, чтобы выйти из диалога без сохранения. Новые данные отобразятся на вкладке Обзор.

Поменять можно только полное имя и электронный адрес пользователя. Логин пользователя поменять нельзя.

Изменение информации о пользователе

Просмотр обновлённой информации о пользователе

Включение и отключение пользователей

Созданных пользователей нельзя удалить через интерфейс, но учётные записи пользователей, которые потеряли свою актуальность, можно заблокировать. Для этого нужно кликнуть на синий переключатель, статус пользователя сменится.

Смена статуса учётной записи пользователя

Сменить пароль

Если пользователь забыл свой пароль, администратор с соответствующей ролью может сбросить его пароль через меню на вкладке Обзор.

Сброс пароля от учётной записи пользователя

Новый пароль будет выведен в диалоговое окно. Администратор может скопировать его и передать пользователю. При входе пользователю нужно будет ввести сгенерированный пароль и задать новый.

Копирование нового пароля от учётной записи пользователя

Назначение ролей и привилегий

Каждому пользователю можно назначить роли и привилегии. Для настройки ролей пользователя перейдите на вкладку Роли. Чтобы выдать пользователю роль, выделите имя роли в графе "Все роли" и переместите с помощью кнопок управления в графу "Выданные роли". Сохраните изменения.

Назначение ролей пользователю

Привилегии выдаются пользователю на вкладке Привилегии. Возле каждой привилегии есть два чекбокса: левый чекбокс отвечает за привилегии, выданные через роли, присвоенные пользователю. Их можно отредактировать только на вкладке Роли. С помощью правого чекбокса можно выдать привилегию пользователю напрямую. Для этого выделите нужные привилегии, поставив галочку в соответствующем чекбоксе из правой колонки. Сохраните изменения.

Назначение привилегий пользователю

Управление ролями и привилегиями

Роли и принадлежащие им привилегии можно править на странице Роли.

Ролевая модель описана в главе Права доступа.

Чтобы создать роль нужно открыть диалог создания роли с помощью кнопки Добавить новую роль. Внести имя роли и её описание, сохранить.

Каждой роли можно назначить суброли и привилегии. Для настройки субролей роли перейдите на вкладку Роли на панели дополнительной информации. Чтобы выдать роли суброль, выделите имя роли в графе Все роли и переместите с помощью кнопок управления в графу Выданные роли. Сохраните изменения.

Назначение субролей роли

Привилегии выдаются роли на вкладке Привилегии. Кликните на чекбокс рядом с нужной привилегией, чтобы добавить ее в список привилегий конкретной роли. Сохраните изменения.

Назначение привилегий роли

Сервер OneBridge

Сервер OneBridge отвечает за обработку данных, сбор статистики использования ресурсов сервера, оркестрацию выполняемых и запланированных графов.

Этот модуль состоит из инструкций по обработке данных и содержит программные интерфейсы для передачи необходимой информации в другие модули и взаимодействия с рабочими процессами OneBridge.

В главах этого раздела описано устройство файлов графов, рассказано о параметрах и метаданных, используемых для работы и приведено описание всех компонентов, которые используются для обработки данных.

Графы

Граф – это файл с описанием последовательности обработки данных в формате XML. Имеет расширение .grf.

В этой главе описаны:

• Структура файлов графов OneBridge
• Элементы файла графа
• Атрибуты элементов

Структура файлов графов OneBridge

В системе определены некоторые элементы, которые стоит использовать для корректной передачи информации и отображения графов в инспекторе задач.

После декларации следует указать начальный тег корневого элемента документа <Graph>. В этот элемент помещается все описание алгоритма обработки данных, все используемые шаги, ребра и их метаданные.

За ним следуют строки, описывающие дочерние элементы корневого элемента. Два главных дочерних элемента это <Global> и <Phase>. В элементе <Global> описываются метаданные и параметры подключения.

Система OneBridge обрабатывает данные в виде записей. Каждая запись может состоять из нескольких полей разных типов. Метаданные хранят тип данных этих полей. Метаданные являются частью графа, они содержатся в файле графа и их нужно описывать в элементе <Metadata>, чтобы четко определить типы обрабатываемых данных.

Параметры подключения к базе данных, файлы с настройками, можно указать и подключить в элементе <GraphParameters>.

В <Phase> задаются атрибуты узлов графа <Node> и описываются ребра <Edge>. Описание шагов может содержать в себе дочерние элементы <Attr>, в которых описываются методы преобразования записей данных.

Последняя строка файла содержит конечный тег корневого элемента: </Graph>.

На схеме ниже представлена иерархия элементов в файле графа.

Элементы файла графа

Ниже приведена таблица с описанием возможных элементов файла графа.

Атрибуты элементов

Для графов: <GraphParameter> и <GraphParameterFile>

Для узлов:<Node>

Для рёбер:<Edge>

Атрибуты элемента GraphParameter

• если public="true" и required="true", тогда value игнорируется;
• если public="true" и value не задан, тогда required устанавливается в "true";
• если public="false", то required игнорируется;
• если public="false", то value должно быть задано;
• значение name не может содержать в себе подпоследовательность "${".

Атрибуты элемента GraphParameterFile

fileURL="${PRM_DIR}/db_01__full_conn.prm"

Атрибуты элемента Node

Атрибуты элемента Edge

В следующих главах более подробно рассмотрено устройство графов и описано взаимодействие с ними.

Узлы графа

Узел (нода) – это компонент графа с определёнными значениями атрибутов, выполняющий конкретную функцию в рамках графа. Этот минимальный алгоритм обработки данных может исполнять функцию чтения, копирования, очистки, объединения данных и т.д.

Каждый Шаг должен обязательно иметь идентификатор id для указания в разных частях здания и тип Шага type для определения того, что должен сделать этот Шаг и какие параметры ему нужно подать на вход.

Строка с объявлением Шага для чтения данных из файла может выглядеть следующим образом:

<Node enabled="true" id="FlatFileReader0" guiX="133" guiY="56" guiName="FlatFileReader" type="FLAT_FILE_READER" fileURL="${READ_DIR}" charset="UTF_8" dataPolicy="strict" trim="default" quotedStrings="false" quoteChar="both" fieldDelimiter="," recordDelimiter="\n" />

Помимо обязательных идентификатора id и типа type, для этого Шага задан путь к файлу fileURL (обязательный атрибут для Шагов чтения и записи) и указаны координаты верхней левой точки guiX и guiY, а также имя Шага guiName для отображения в Инспекторе задач и рабочей области Дизайнера.

Отображение Шага FlatFileReader в рабочей области Дизайнера

Типы Шагов

Все компоненты делятся на несколько групп:

• Для чтения - Шаги для чтения обычно являются начальными компонентами графов. Они читают данные из входных файлов, подключенных входных портов либо генерируют данные по заданному шаблону.
• Для записи - Шаги для записи обычно ставятся в конце графа. Они могут записать данные в файлы или базу данных, передать на выходной порт либо прервать передачу данных.
• Некоторые Шаги используются для трансформации данных. Еще они называются преобразователями, так как могут изменять данные в соответствии с заложенным в них алгоритмом. Преобразователи получают данные и могут копировать их на все выходные порты, удалять дубликаты, фильтровать, сортировать, отправлять обработанные данные на один или несколько выходных портов.
• Объединители получают данные из двух или более источников, объединяют их в соответствии с указанным ключом и отправляют объединенные данные через выходные порты.
• Шаги для управления ходом графов.
• Шаги, которые не входят в вышеописанные группы объединены в группу Другие.

Порты

Порт Шага - это точка входа или выхода данных из Шага. У каждого Шага есть хотя бы один порт - входной или выходной. Портов одного вида также может быть несколько. К примеру, у Copy может быть несколько выходных портов.

Метаданные

Все компоненты требуют, чтобы метаданные в их портах имели определенную структуру.

Чтобы создать новые метаданные, откройте редактор метаданных из панели Outline, а затем внесите имя и тип новых метаданных.

Общие свойства шагов

Каждый шаг можно настроить с помощью Редактора шага.

Среди свойств, которые можно установить в этом диалоговом окне, более подробно описаны следующие:

• Каждый шаг имеет метку с его названием (Именование шагов).

• Каждый граф можно обрабатывать поэтапно (Фазы).

Именование шагов

Каждый шаг имеет метку, которую можно изменить. Поскольку в графе может быть несколько шагов одного вида, вы можете назвать их предпочитаемым образом для удобства использования.

Вы можете переименовать любой шаг на вкладке Source, исправив атрибут guiName, и затем использовать обращение к шагу по этому атрибуту.

Фазы

Каждый граф можно разделить на несколько фаз, задав номера фаз в редакторе шага. Номер фазы выводится в верхнем левом углу каждого шага.

Смысл деления графа на фазы в том, что каждый граф выполняется параллельно в пределах одной фазы; т.е. все шаги, имеющие одинаковый номер фазы, и входящие в них рёбра работают одновременно. Если процесс останавливается на какой-то фазе, более высокие фазы не начинаются. Только после того, как все процессы в рамках одной фазы успешно завершатся, начнётся следующая фаза.

Вот почему фазы должны оставаться неизменными во время работы графа. Номер следующей фазы графа всегда больше, чем номер предыдущей.

Таким образом, когда вы увеличиваете номер фазы на любом из шагов графа, принадлежащей одной фазе, все шаги с тем же номером фазы (но не шаги с более высокими номерами фаз), лежащие дальше по графу, автоматически меняют свою фазу на это новое значение.

Используйте редактор шага для настройки фазы, либо воспользуйтесь окошком на шаге прямо в Рабочей области:

Установка фазы шага

Заметка: При назначении фаз внутри графа, можно указывать номер фазы с приращением больше, чем на 1 (например, 5, 10, 15…​). Таким образом, позже вы сможете добавлять новые фазы между уже существующими фазами без необходимости корректировки нумерации всех фаз.

Включение шага

Все шаги по умолчанию включены. Чтобы включить отключенный шаг, используйте контекстное меню шага и пункт Enable node.

Отключение шага

Чтобы отключить шаг, выберите в контекстном меню шага пункт Disable node. Это отключит и все последующие шаги. Все отключенные шаги станут серого цвета. Любые записи, отправленные в отключенный шаг, будут отброшены, как будто попали в TRASH.

Отключенные шаги помечаются серым цветом и отбрасывают все поступающие в них записи

Рёбра

Если в графе есть хотя бы два узла, их можно соединить ребром. Данные будут передаваться от одного шага к другому через это ребро. По этой причине каждому ребру должны быть назначены некоторые метаданные, описывающие структуру записей данных, проходящих через ребро.

При создании ребра в графе, его концы всегда связывают исходящий порт одного шага с входящим портом другого шага. Количество портов одних шагов строго задано, а другие имеют неограниченное количество портов. Если количество портов не ограничено, новый порт создается путем подключения нового ребра.

При описании ребра используется тег <Edge> и указываются обязательные атрибуты ребра, такие как имя ребра, начальный и конечный порты соединяемых шагов, имя метаданных.

<Edge id="edge1" fromNode="reader:0" toNode="writer:0" metadata="ObjectWithPos" bufferSize="256"/>

Атрибуты ребра:

У ребер есть редактор, в котором можно изменить значения атрибутов bufferSize и metadata. Редактор открывается нажатием на пункт Edit контекстного меню ребра.

В инспекторе ребра можно увидеть структуру назначенных ему метаданных. Контекстное меню -> Inspect.

Чтобы удалить ребро, используйте пункт Remove.

Соединение компонентов ребром

Метаданные

Мета (метаданные) — это данные, описывающие структуру данных. Каждое ребро графа несет некоторые данные. Эти данные должны быть описаны с использованием метаданных. Метаданные описывают как запись в целом, так и все ее поля.

Записи могут быть разных типов, каждое поле может иметь разный тип данных.

Метаданные могут быть как внутренними, так и внешними (общими). Метаданные указываются в файле графа или в файле параметров.

Редактор метаданных описан в разделе "Создание-и-присвоение-метаданных-ребру".

Подробную информацию об изменении или определении разделителей в записях с разделителями или смешанных типах читайте в разделе "Определение и изменение разделителей".

Содержание главы:

• Поля и записи
• Типы данных в метаданных
• Типы метаданных
  • Внутренние метаданные
  • Внешние метаданные
• Передача метаданных между компонентами графа
• Создание метаданных

Поля и записи

Запись можно рассматривать как строку файла данных или как строку таблицы базы данных. Запись состоит из полей. Каждое поле может иметь разный тип данных.

В записи каждые два соседних поля отделяются друг от друга разделителем полей, и вся запись также завершается разделителем записи. По умолчанию в системе OneBridge разделителем полей является запятая, а разделителем записей – символ переноса строки, то есть стандартная запись в файл будет произведена в таком виде:

<поле>,<поле>
<поле>,<поле>

Каждая запись относится к одному из следующих трех типов:

• C разделителями. В записи с разделителями каждые два соседних поля отделяются друг от друга разделителем, и вся запись также заканчивается разделителем записи.

• Фиксированной длины. В записи фиксированной длины каждое поле имеет определенную длину (размер). Длина измеряется в количестве символов.

• Смешанный. В смешанной записи каждое поле может быть отделено друг от друга разделителем, а также иметь определенную длину (размер). Размер рассчитывается в количестве символов. Этот тип записи представляет собой смесь обоих типов, описанных выше. Каждое отдельное поле может иметь разные свойства. Некоторые поля могут иметь только разделитель, другие могут иметь указанный размер, остальные могут иметь как разделитель, так и размер.

Типы данных в метаданных

Каждое поле метаданных может иметь разный тип. В системе определены следующие типы данных:

Типы метаданных

Внутренние метаданные

Внутренние метаданные являются частью графа, они содержатся в файле графа и их можно увидеть на вкладке Источник.

Создание внутренних метаданных

Внутренние метаданные могут быть созданы следующим способом:

На панели Outline вы можете выбрать элемент Metadata правой кнопкой мыши и выбрать New metadata в контекстном меню.

Редактор метаданных

Внешние метаданные

Внешние (общие) метаданные располагаются в отдельном файле и могут использоваться несколькими графами.

Создание внешних метаданных

Для создания внешних метаданных, выберите в контекстном меню папки, в которую хотите поместить файл метаданных, пункт New file. Задайте название и расширение .fmt для этого файла.

Затем откройте созданный файл в рабочей области и задайте его содержимое на вкладке Source.

Указание метаданных во внешнем фйле

Связывание внешних метаданных

После создания внешние метаданные должны быть связаны с каждым графом, в котором они будут использоваться. Для этого нужно щелкнуть правой кнопкой мыши группу Метаданные на панели Outline и выбрать Link metadata в контекстном меню. После этого откроется редактор матаданных, в который нужно ввести путь до файла с метаданными. Путь указывается относительно проекта.

Линкование метаданных в редакторе

Передача метаданных между компонентами графа

В данный момент реализовано назначение метаданных вручную каждому ребру. Это можно сделать двумя способами:

• Открыть редактор ребра двойным щелчком по имени ребра. Выбрать имя меты в выпадающем списке, сохранить изменения, нажав Save.
• Перетащить нужные метаданные с панели Outline на ребро методом drag-and-drop, зажав ctrl.

Шаг

Некоторые шаги имеют шаблоны метаданных, назначенные их портам. Метаданные из шаблонов распространяются от шага к подключенному ребру.

Например, метаданные для записей об ошибках автоматически распространяются на второй порт вывода SpreadsheetDataReader. Другим примером шага, которому назначены метаданные для порта, является ListFiles. Подграф также может распространять метаданные от самого себя.

Ребро

Некоторые шаги (например, Copy) передают метаданные от входных портов к выходным. Таким образом, метаданные могут автоматически распространяться на ребре как поступающие с другого ребра, даже на несколько шагов вперёд.

Метаданные могут распространяться слева направо или справа налево. Некоторые шаги могут распространять метаданные между портами на одной стороне шага, используя порт на другой стороне. Шаги, не меняющие структуру метаданных (например, FilterNode, Copy и т. д.), обычно распространяют метаданные с обеих сторон.

Подробные сведения о распространении метаданных для конкретных шагов можно найти на странице с описанием каждого шага.

Явно распространяемые метаданные

Ребро может иметь явно назначенные метаданные другого ребра графа. Оба ребра не обязательно должны быть соединены через какие-либо другие компоненты и ребра. Пользователь должен определить границу, с которой распространяются метаданные.

Назначение явно распространяемых метаданных

Щелкните правой кнопкой мыши ребро, которому нужно назначить метаданные, и выберите "Выбрать метаданные". "Выбрать метаданные из ребра".

Приоритезация метаданных

Автоматически распространяемые метаданные имеют более низкий приоритет, чем явно определенные метаданные. Вы можете заменить метаданные, назначенные ребру, другими метаданными. Автоматически распространяемые метаданные можно переопределить так же, как при назначении новых метаданных краю: либо путем перетаскивания из контура, либо щелчком правой кнопкой мыши по ребру и выбором "Выбрать метаданные" или "Новые метаданные".

Метаданные будут распространяться до тех пор, пока не достигнут компонента, в котором могут быть изменены (например, Map, Joiners и т. д.). -->

Создание метаданных

Создание метаданных возможно либо через указание в файле графа, либо в редакторе метаданных в Дизайнере.

Указание метаданных в источнике

Указание в источнике производится вручную в заголовке файла, в теге Metadata. Создайте внутри тег Record, задайте значение параметра name и укажите значения атрибутов для Field.

Указание метаданных в источнике

Создание метаданных в редакторе

Для создания метаданных в редакторе, откройте его из панели Outline из конекстного меню Metadata -> New metadata. Задайте имя записи, задайте имена полей метаданных, резделители полей и строк, укажите тип данных для каждого поля. Сохраните изменения кнопкой Save.

Создание метаданных в редакторе

Подробнее использование редактора метаданных описано в разделе Дизайнер.

Формат даты и времени

Форматирование описывает, как значения даты/времени должны считываться и записываться из/в строковое представление. На форматирование и синтаксический анализ дат также влияют локаль и часовой пояс.

На данный момент пересчет времени в зависимости от локального отключен, используется только серверное время в UTC. То есть если вы хотите установить расписание на 12:35 по локальному времени и для вашего местоположения акутально UTC+3ч, время выполнения расписания следует указать 09:35.

В OneBridge используется указание префикса для форматирования данных. Доступны два встроенных механизма обработки данных: стандартный для языка Rust модуль (описан в таблицах ниже) и международный формат ISO 8601 (https://en.wikipedia.org/wiki/ISO_8601).

Следующие спецификаторы доступны как для форматирования, так и для синтаксического анализа.

Разделители

Разделители определяют правила, по которым будут прочитаны данные из файла шагом FlatFileReader и по которым будет произведена запись в файл в результате работы шага FlatFileWriter.

В системе существует два типа разделителей:

• разделители полей fieldDelimiter;
• разделители записей recordDelimiter.

Разделители назначаются при определении метаданных в теге <Record> и могут быть переопределены в атрибутах шагов.

По умолчанию, разделителем записей является символ перевода строки «\n», а разделителем полей – запятая «,».

Для чтения файла такого вида: qwe|rty|uio;asd|fgh|jkl;zxc|vbn|mko в качестве разделителя полей следует задать вертикальную линию, а в качестве разделителя записей – точку с запятой: <Record fieldDelimiter="|" recordDelimiter=";">.

Если назначить метаданные для записи, установив разделитель полей <Record fieldDelimiter="_">, а разделитель записей не задать, то выходной файл будет выглядеть таким образом:

qwe_rty_uio
asd_fgh_jkl
zxc_vbn_mko

RecordDelimiter при этом будет по умолчанию равен символу переноса строки.

Во FlatFileReader и FlatFileWriter можно переопределять fieldDelimiter и recordDelimiter в атрибутах шага. Тогда, даже если в метаданных в элементе <Record> указаны одни разделители – в шагах для чтения или записи могут быть указаны другие разделители, переопределённые значения будут приоритетными при выполнении алгоритма.

Непечатаемые разделители

Если нужно использовать любой непечатаемый разделитель, вы можете записать его как выражение. Например, вы можете ввести следующую последовательность символов в качестве разделителя записей в метаданных: RecordDelimeter=\u0014.

Такие выражения состоят из кода Unicode \uxxxx без кавычек. Обратите внимание, что каждый символ обратной косой черты «\», содержащийся во входных данных, на самом деле будет дублироваться при просмотре. Таким образом, вы увидите «\» в своих метаданных.

Соединения с базами данных

Соединение с базой данных позволяет получить доступ к источникам данных в виде различных баз данных. При подключении к базе вы можете считывать данные из таблиц, выполнять SQL-запросы или вставлять записи в таблицы базы данных. Эти действия выполняются шагами, использующими соединение с базой данных.

Существует два способа доступа к базе данных:

• использование клиента на компьютере, который подключается к базе данных, расположенной на сервере, с помощью клиентской утилиты. Этот подход используется в массовых загрузчиках;
• использование драйвера ODBC. Для каждого подключения к базе данных требуется драйвер ODBC. Драйверы устанавливаются отдельно и не включены в OneBridge.

В OneBridge есть два вида подключения к базам - внутреннний и внешний.

• Внутренние соединения с базой данных являются частью графа, их описание можно увидеть в xml-представлении графа. При внутреннем типе соединения все параметры подключения задаются в файле и могут быть использованы только этим графом.

• Внешним соединением могут пользоваться другие графы. Оно задаётся в отдельном файле с расширением .con и в графе указывается только ссылка на файл соединения.

Создание подключения

Пример создания подключения приведён в главе Установка соединения с базой данных.

Чтобы создать подключение, щелкните правой кнопкой мыши Connections на панели Outline и выберите:

• New connection - для создания внутреннего подключения
• Link connection - для указания ссылки на внешний файл с описанием подключения.

Для внутреннего подключения к базе нужно указать имя и параметры соединения:

• Для внутреннего соединения нужно заполнить атрибут URL по шаблону, актуальному для конкретной базы. Шаблон указывается при выборе способа соединения в редакторе соединений.
• Для внешнего соединения достаточно указать путь к файлу с конфигурацией в атрибуте dbConfig.

Для передачи паролей стоит использовать защищенные параметры.

Значения параметров можно указать следующим образом в графе либо в отдельном файле конфигурации соединения:

<GraphParameters>

<!--тип соединения с базой данных-->
<GraphParameter name="CONN_TYPE" value="postgresql"/>

<!--имя пользователя в базе-->
<GraphParameter name="USER" value="user1"/>

<!--пароль пользователя в базе-->
<GraphParameter name="PASSWORD" value="pass"/>

<!--хост-->
<GraphParameter name="HOST" value="10.1.1.4"/>

<!--порт базы данных-->
<GraphParameter name="PORT" value="5432"/>

<!--имя базы данных-->
<GraphParameter name="DATABASE" value="MyDB"/>

</GraphParameters>

Типы соединения с базами данных

На данный момент подключены следующие нативные соединения с базами данных:

postgres://user:password@localhost:port/database

oracle:user/password@localhost:port/database

sqlserver:server=tcp:localhost,port;user=user;password=password

Подключение других баз возможно по запросу пользователя.

Через ODBC доступна работа со следующими базами:

• PostgreSQL,
• Oracle,
• MSSQL,
• SQLite,
• Firebird

Для подключения через ODBC необходимо изменить строку подключения, добавив в начале строки odbc@. Например, для подключения к Firebird, строку подключения можно составить так: odbc@firebird:Driver={Firebird};User=SYSDBA;Password=2wsx2WSX;Database=sbar-dev-db03.sbar.local/3050:/opt/firebird/data/onebrige-dev.fdb.

Параметры

Параметры аналогичны константам, их можно определить один раз и использовать в различных местах графа для его настройки.

Значения параметров всегда конвертируются в строку. Каждое значение, номер, путь, имя файла, атрибут можно настроить или изменить с помощью параметров.

Основными преимуществами параметров являются возможность использовать шаблон для указания параметра и изменять его значение только в одном месте. Для подстановки значения параметра используйте шаблон "${PARAMETER_NAME}.

Параметры создаются с помощью редактора параметров или указываются в файле параметров, на который дается ссылка в графе.

Внутренние и внешние параметры

Параметры могут быть

• внутренними – указываются непосредственно в файле графа;
• внешними – указываются в отдельном файле и подключаются с помощью элемента <GraphParameterFile>.

Внутренние параметры указываются в графе, в редакторе параметров. Они отображаются на панели Outline и их можно увидеть на вкладке Source. Внутренние параметры полезны для параметризации в рамках одного графа.

Внешние (общие) параметры хранятся вне графа в отдельном файле с расширением .prm в папке проекта. Использование внешних параметров подходят для параметров, используемых несколькими графами.

Чтобы подключить в граф внешние параметры, укажите путь к файлу в редакторе линкованных параметров в поле fileURL.

Защищенные параметры

Обычные параметры графа сохраняются либо в файлах .grf (внутренние параметры), либо в файлах .prm (внешние параметры). Это означает, что значения параметров вашего графа хранятся в обычных xml-файлах. Такое поведение абсолютно корректно для большинства вариантов использования параметров графа. Но иногда параметр графа может представлять конфиденциальную информацию, которую не следует сохранять в текстовом файле в файловой системе, например, пароль к базе данных. Для этой цели OneBridge предоставляет функцию безопасных параметров.

Для использования безопасных параметров установите чекбокс напротив значения параметра в редакторе параметров. После ввода значения оно будет отображаться в защищённом виде и чтобы изменить его, нужно будет ввести его заново и сохранить изменения. Расшифровка защищенного параметра выполняется автоматически во время выполнения графа.

Словарь

Словарь — это объект для хранения данных, связанный с каждым запуском графа в OneBridge. Его цель — обеспечить простое и типобезопасное хранение различных параметров, требуемых графом.

Он не ограничивается хранением только входных или выходных параметров, но также может использоваться как способ обмена данными между различными компонентами одного графа.

Когда граф загружается из своего определения в XML файле, словарь инициализируется на основе его определения в спецификации графа. Каждое значение инициализируется значением по умолчанию, если оно установлено, либо дефолтным для типа значением.

Между двумя последующими запусками любого графа словарь сбрасывается до исходных настроек или настроек по умолчанию, так что все изменения словаря после выполнения графа уничтожаются. По этой причине словарь нельзя использовать для передачи значений между разными прогонами одного и того же графа.

Создание словаря описано в главе Добавление словаря в описании Дизайнера.

Работа со словарём для передачи значений во внутренний граф при использовании шага ExecuteGraph описана в примере передачи параметров через словарь.

Преобразования

Преобразование — это фрагмент кода, который определяет, как входные данные преобразуются в выходные данные при прохождении через шаг. Преобразование определяется в атрибуте "transform" или "normalize".

Определение преобразования задается вручную в графе с помощью внутреннего языка onelang.

Шаги, допускающие преобразования

Преобразователи можно использовать в таких шагах как HashJoin, MergeJoin, Map, Rollup. В этих шагах есть возможность задать алгоритм преобразования на своё усмотрение, в то время как для других шагов алгоритмы обработки данных чётко определены.

Возвращаемые значения преобразователей

Ниже в таблице представлены все возможные варианты возвращаемых преобразователями значений.

...
return ALL;

...
else {
    ...
    return SKIP;
    }

Методы преобразования данных

В некоторых шагах можно самостоятельно определить алгоритм обработки данных. К таким шагам относятся HashJoin, MergeJoin, HashJoin, Map, Rollup. Пользовательский алгоритм преобразования в этих шагах определяется в атрибуте с именем "transform" с помощью JavaScript:

<Node id="m" type="Map">
    <Attr name="transform">
        <![CDATA[
            function transform() {
            //transform code
            $out[0].field1 = $in[0].field1 * 3,14;
            $out[0].field2 = $in[1].field2 + 'success_string';

            return ALL;
            }
        ]]>
    </Attr>
</Node>

В шагах, использующих функцию преобразования, можно применять методы для работы с записями, описанные в примере ниже:

<Node id="map" guiX="250" guiY="100" guiName="map" type="Map">
    <Attr name="transform"><![CDATA[
        $out[0].person = $in[0].name.toString() + "_" + $in[0].surname.toString();
        $out[1].person = $in[0].name.toString().toUpperCase() + " " + $in[0].surname.toString().toUpperCase();
        
        return ALL;

Param(param_name) возвращает значение param_name, но выдает ошибку unknown parameter 'param_name', если имя параметра не определено

                0 => $out[0].obj_type = param("X"),
                1 => $out[0].obj_type = param("RbISb"),
                2 => $out[0].obj_type = format!("secure number is {}", param("FILE_PRM_NUM")),

Param_or(param_name, default_value) возвращает значение параметра или default_value, если параметра нет

                3 => $out[0].obj_type = input.obj_type + " is not " + &param_or("XX", "goose") + "!",

Try_param(param_name) возвращает Some(value) (value является строкой) в случае, если параметр есть, None, если параметра нет

                4 => $out[0].obj_type = if let Some(obj_type) = try_param("X") { obj_type } else { "tuturu".to_string() },

Param_parse_or(param_name, default_value) возвращает преобразованное значение параметра, если он есть или default_value. Возвращает ошибку, если значение параметра не преобразуется к типу

                5 | 6 => {
                    $out[0].y_coord = param_parse_or("X", 24);
                    $out[0].obj_type = param_parse_or("X", "tururu".to_string());
                }
                 _ => $out[0].obj_type = input.obj_type,
            
                index += 1;

                return ALL;

Хеш-таблицы

Хеш-таблица (lookup table) — это структура данных, которая обеспечивает быстрый доступ к данным, хранящимся с использованием ключа. Она позволяет уменьшить частоту обращений к базе данных или файлам.

По умолчанию хэш-таблица позволяет хранить несколько записей с одинаковым значением ключа. Если для вашего кейса это некорректно, можно запретить хранить дублирующиеся значения, тогда будет сохранено последнее записанное значение.

Все записи такой таблицы находятся в памяти во время работы графа. Поэтому на сервере должно быть достаточно памяти для хранения всех записей из используемой таблицы. Содержимое таблицы можно записать в файл и сохранить в проекте, чтобы использовать её содержимое через время в других графах.

Заметка: В редкторе содержимого используйте обращение к хэш-таблицам через конструкцию lookupTables.<tableName>.<lookupMethod>(<arguments>); в коде атрибута transform в шагах, разрешающих пользовательские преобразования, например, DATA_GENERATOR и MAP.

Создание хэш-таблицы

Чтобы создать хэш-таблицу, сначала нужно её определить в графе, а затем вставить в неё значения с помощью метода insert. В дизайнере для создания таблицы используйте панель Outline и редактор lookup таблиц, аналогично созданию метаданных и параметров. В веб интерфейсе OneBridge таблицу можно определить на странице Проекты в редакторе содержимого файла с помощью тега <LookupTable> и его атрибутов, описанных в таблице ниже.

Атрибуты хэш-таблиц:

Так может выглядеть определение таблицы в файле графа:

<Graph>
    <Global>
    ...
        <LookupTable id="lookup_table1" key="num;date" metadata="meta1" name="lt1" file="lt1_file" keyDuplicates="false"/>
    </Global>

Методы хэш-таблиц:

//из таблицы lt1 будет прочитана запись со значением ключа = i
let got = lookupTables.lt1.get([i]); 

//в таблицу lt1 будет добавлена запись
lookupTables.lt1.insert({ foo: i + 1 }); 

//из таблицы lt1 будут удалены записи с ключом i
lookupTables.lt1.remove([i]); 

//переменной num будет присвоено значение, отражающее количество уникальных ключей в таблице lt1
function generate() {
    let num = lookupTables.lt1.numKeys(); 
    $out[0].foo = num;

    return ALL;
}

//таблица lt1 будет очищена от значений (её структура останется такой, как была задана при создании)
lookupTables.lt1.clear(); 

Правила использования хэш-таблиц

Для корректной работы с таблицами такого типа, нужно соблюдать правила их использования:

1. В начале работы графа он считывает содержимое хэш-таблицы и далее работает с ним в памяти. Запись в таблицу происходит в конце фазы, в которой производится обращение к таблице.

2. Необходимо избегать использования шагов для чтения таблиц и записи в таблицу в рамках одной фазы.

На данный момент алгоритм таков, что при попытке использовать сочетание шагов для чтения и записи в хэш-таблицу в одной фазе результат работы графа будет некорректен.

В одной фазе можно:

• Использовать несколько LOOKUP_TABLE_READER для чтения из таблицы А.
• Использовать несколько LOOKUP_TABLE_READER для чтения из разных таблиц А, B, C.
• Использовать один LOOKUP_TABLE_WRITER для записи в таблицу А.
• Производить чтение и запись в таблицу А, но только внутри пользовательского кода шага, с помощью методов get и insert.

В одной фазе нельзя:

• Обращаться к таблице А из шагов для чтения и записи (LOOKUP_TABLE_READER и LOOKUP_TABLE_WRITER).
• Использовать несколько LOOKUP_TABLE_WRITER для записи в таблицу А.
• Обращаться к таблице А из разных шагов с пользовательским кодом.

Пример использования отдельных шагов для чтения и записи:

<Graph>
    <Global>
        <Metadata id="meta">
            <Record>
                <Field name="foo" type="integer" />
            </Record>
        </Metadata>
        <LookupTable id="lookup_table1" key="foo" metadata="meta" name="lt1" file="1170_lt1" />
    </Global>
    <Phase number="0">
        <!-- This shows how to insert records into lookup tables with built-in node -->
        <Node id="datagen1" type="DATA_GENERATOR" recordsNumber="4">
            <attr name="generate">
                <![CDATA[
                let i = 0;

                function generate() {
                    $out[0].foo = i;
                    i++;

                    return ALL;
                }
                ]]>
            </attr>
        </Node>
        <Node id="ltwriter" type="LOOKUP_TABLE_WRITER" lookupTableName="lt1" />
        <Edge id="edge1" fromNode="datagen1:0" toNode="ltwriter:0" metadata="meta" />
    </Phase>
    <Phase number="1">
        <!-- This shows how to read all records from lookup tables with built-in node -->
        <Node id="ltreader" type="LOOKUP_TABLE_READER" lookupTableName="lt1" />
        <Node id="trash2" type="TRASH" debugOutput="false" />
        <Edge id="edge2" fromNode="ltreader:0" toNode="trash2:0" metadata="meta" />
    </Phase>
</Graph>

Пример обращения к таблице из шага с пользовательским кодом:

<Graph>
    <Global>
        <Metadata id="meta">
            <Record>
                <Field name="foo" type="integer" />
            </Record>
        </Metadata>
        <LookupTable id="lookup_table1" key="foo" metadata="meta" name="lt1" file="1170_lt1" />
    </Global>
    <Phase number="0">
        <!-- This shows how to insert and retrieve records to/from lookup tables in user code -->
        <Node id="datagen" type="DATA_GENERATOR" recordsNumber="4" enabled="false">
            <attr name="generate">
                <![CDATA[
                let i = 0;

                function generate() {
                    let got = lookupTables.lt1.get([i]);
                    let foo = got ? got.foo : null;
                    $out[0].foo = foo;

                    lookupTables.lt1.insert({ foo: i + 1 });
                    i++;

                    return ALL;
                }
                ]]>
            </attr>
        </Node>
        <Node id="trash" type="TRASH" debugOutput="true" />
        <Edge id="edge" fromNode="datagen:0" toNode="trash:0" metadata="meta" />
    </Phase>
</Graph>

Объединение хэш-таблиц

Объединение хэш-таблиц возможно с помощью шагов MAP и NORMALIZER.

• MAP стоит использовать, если 1 запись мастер-потока объединяется с 1 записью слейв-потока.
• NORMALIZER стоит использовать, если записей для объединения на слейв-потоке больше, чем 1.

Пример объединения хэш-таблиц с помощью MAP:

<Graph>
    <Global>
        <Metadata id="meta1">
            <Record>
                <Field name="n" type="integer"/>
                <Field name="s" type="string"/>
            </Record>
        </Metadata>
        <Metadata id="meta2">
            <Record>
                <Field name="n" type="integer"/>
                <Field name="b" type="boolean"/>
            </Record>
        </Metadata>
        <Metadata id="meta3">
            <Record>
                <Field name="num" type="integer"/>
                <Field name="bool" type="boolean"/>
                <Field name="str" type="string"/>
            </Record>
        </Metadata>
        <LookupTable id="lookup_table1" key="n" metadata="meta1" name="lt1" file="1170_lt3_string" />
        <LookupTable id="lookup_table2" key="n" metadata="meta2" name="lt2" file="1170_lt4_bool" />
        <LookupTable id="lookup_table3" key="num" metadata="meta3" name="lt3" file="1170_lt5_joinmap" keyDuplicates="false"/>
    </Global>        
    <Phase number="0">
        <Node id="ltreader1" type="LOOKUP_TABLE_READER" lookupTableName="lt1" />
        <Edge id="edge3" fromNode="ltreader1:0" toNode="map:0" metadata="meta1" />
    </Phase>
    <Phase number="1">
        <Node id="map" type="MAP">
        <attr name ="transform">
              <![CDATA[
              let i = 0;

                function transform() {
let lt2 = lookupTables.lt2.get([i]);
let bool = lt2 ? lt2.b : null;
let str = lt2 ? lt2.s : null;
                    $out[0].num = $in[0].n;
                    $out[0].bool = bool;
                    $out[0].str = $in[0].s;

                    i++;

                    return ALL;
                }
                ]]>
        </attr>
        </Node>
        <Node id="trash2" type="TRASH" debugOutput="true" />
        <Edge id="edge4" fromNode="map:0" toNode="trash2:0" metadata="meta3" />
    </Phase>
</Graph>

Алгоритмы обработки данных

В этом разделе описаны запрограммированные шаги, которые пользователь может использовать для составления своего графа для обработки данных.

Каждый шаг представляет собой готовый алгоритм обработки данных, например, EXT_SORT – это шаг для сортировки данных.

Данные поступают в шаг через входной порт, обрабатываются согласно алгоритму и выводятся через выходной порт. Входных и выходных портов у шага может быть разное количество. Например, у СONCAT может быть несколько входов, а у TRASH не бывает выходных портов.

Шагов в графе может быть сколько угодно, но обязательно должен присутствовать шаг для чтения данных в начале алгоритма и для записи данных - в конце алгоритма. Между ними могут быть добавлены шаги для преобразования, объединения данных и другие.

Шаги в графе соединяются ребрами для передачи информации. Каждому ребру необходимо назначать метаданные для описания данных, передаваемых между шагами.

Подробное описание создания графа описано в главе Графы. Несколько примеров составления графов приведены в разделе Быстрый старт.

Типы данных метаданных

Каждое поле метаданных может иметь разный тип. Для метаданных в OneBridge определены следующие типы данных:

Для чтения данных

Узлы для чтения (считыватели) могут считывать данные из входных файлов, получать их из подключенного дополнительного входного порта, читать из базы данных. Узел DATA_GENERATOR занимается генерацией данных и тоже относится к этой группе, поскольку является начальным узлом.

Различают следующие шаги для чтения:

• FLAT_FILE_READER - читает данные из плоского файла
• RAW_READER - читает данные из файлов во внутреннем формате OneBridge
• LOOKUP_TABLE_READER - читает данные из хеш-таблицы
• DATABASE_READER - читает данные из базы данных
• DATA_GENERATOR - генерирует данные по шаблону
• SPREADSHEET_READER - читает данные из файлов в форматах xlsx, xls
• INPUT_TABLE - преобразует данные из строки с разделителями в ytcrjkmrj pfgbctq
• CSV_READER - читает данные из файлов в формате CSV

FLAT_FILE_READER

FLAT_FILE_READER считывает данные из плоских файлов в формате CSV и TXT с разделителями, фиксированной длины или смешанных текстовых файлов. Удаленные файлы доступны для чтения через протоколы FTP и SFTP.

Порты FLAT_FILE_READER:

Атрибуты FLAT_FILE_READER:

Обрезание данных

1. Входные строки обрабатываются в соответствии с типом данных поля следующим образом:

• Пробелы удаляются как из начала, так и из конца поля для типов данных boolean, date, integer.
• Входная строка остаётся полем, включающим начальные и конечные пробелы в случае типа данных string.

2. Если для атрибута trim установлено значение true, все начальные и конечные пробельные символы удаляются. Поле, состоящее только из пробелов, преобразуется в нулевое значение (строка нулевой длины). Значение false подразумевает сохранение всех начальных и конечных символов пробелов. Входная строка может содержать пробелы только если представляет строковый тип данных. В случае trim = "default", поведение зависит от типа обрабатываемых данных: для типа string, значение строки останется с начальными и конечными пробелами, если они были, для остальных типов - пробелы будут убраны. По умолчанию trim="default".

Пример. Чтение файла.

Например, нужно прочитать файл "customers.csv". Каждая запись в нем содержит три поля: "дата", "фамилия" и "имя", разделенные символом "|". Нужно считать этот файл для дальнейшей обработки в системе.

Данные в файле:

01.02.2011|Горилов|Алексей
29.12.2013|Нечаев|Илья
25.11.2016|Васькин|Николай
23.10.2019|Иванов|Григорий
19.09.2022|Горбунов|Евгений

Решение:

Для чтения простого файла используется узел FLAT_FILE_READER. В редакторе узла нужно задать значение атрибута fileURL="customers.csv".

Чтобы правильно прочитать записи, нужно описать входные метаданные. В редакторе метаданных задайте имя метаданным, например, "customers_data" и создайте поля "date", "last_name" и "first_name". Установите для них типы данных "date", "string" и "string" соответственно.

С помощью атрибута format="%Y-%m-%d" можно указать используемый формат даты для поля "date".

Данные читаемые с помощью узла FLAT_FILE_READER нужно обязательно отправить дальше. Если обработка данных не требуется, можно использовать узел TRASH для остановки потока данных.

Узлы FLAT_FILE_READER и TRASH нужно соединить ребром и присвоить этому ребру созданную мету "customers_data".

Данные из файла "customers.csv" будут считаны во внутреннюю память Onebridge:

RAW_READER

RAW_READER считывает данные, хранящиеся во внутренних файлах формата OneBridgeFile.

Порты RAW_READER:

Атрибуты RAW_READER:

Пример. Чтение файла во внутреннем формате.

Чтобы прочитать файл ${DATAIN_DIR}/my-file.obf нужно заполнить атрибут fileURL.

RAW_READER прочтёт все данные из этого файла.

LOOKUP_TABLE_READER

Узел LOOKUP_TABLE_READER считывает данные из хеш-таблицы (Lookup Table).

Порты LOOKUP_TABLE_READER:

Атрибуты LOOKUP_TABLE_READER:

Следующий пример графа демонстрирует чтение из хеш-таблицы с именем lookupTable001 и передачу считанных данных в треш:

<Graph>
    <Global>  
      
        <Metadata id="meta1">
            <Record>
                <Field name="n" type="integer"/>
                <Field name="s" type="string"/>
            </Record>
        </Metadata>

        <LookupTable id="lookup_table1" key="n" metadata="meta1" name="lt1" file="lookupTable001" />

    </Global>

    <Phase number="1">
        <Node id="ltreader1" type="LOOKUP_TABLE_READER" lookupTableName="lt1" />
        <Node id="trash1" type="TRASH" debugOutput="true" />
        <Edge id="edge1" fromNode="ltreader1:0" toNode="trash1:0" metadata="meta1" />
    </Phase>

</Graph>

DATABASE_READER

DATABASE_READER считывает данные из базы данных. Поддерживает подключение к СУБД PostgreSQL, Oracle, MySQL. Подробнее про подключение к базам данных можно прочитать в разделе Соединения с базами данных.

Порты DATABASE_READER:

Атрибуты DATABASE_READER:

<Connection id="conn0" dbURL="postgres://admin:admin@localhost:5432/dev"/>

<attr name="sqlQuery">
<![CDATA[
    select * from table;
]]>
</attr>

Пример. Чтение записей из баз данных.

С помощью DATABASE_READER нужно прочитать данные из разных баз и записать ответы в текстовые файлы.

Решение:

1. Для чтения данных понадобится три компонента DATABASE_READER и три компонента FLAT_FILE_WRITER - для записи данных в файлы.

2. Создам подключения к базам postgres, sqlserver через локального клиента и к firebird через odbc. Везде буду подключаться к схеме onebridge, к таблице million_row.

3. Для создания соединений с базами нужно на панели Outline выбрать в контекстном меню элемента Connection пункт New connection - для создания нового подключения или Link connection - для вставки ссылки на уже описанное в отдельном файле подключение. В редакторе новых соединений выбрать тип подключения и заполнить атрибут URL значениями параметров, необходимых для подключения.

Connection для postgres:

URL = "postgres://user:password@host:port/database;"

Connection для sqlserver:

URL = "sqlserver:server=sbar-dev-db02.sbar.local,port;user=username;password=password;"

Connection для firebird:

URL = "odbc:Driver={Firebird};User=username;Password=password;Database=sbar-dev-db03.sbar.local/3050:/opt/firebird/data/onebrige-dev.fdb;Charset=;Role=;ReadOnly=No;NoWait=No;"

4. SQL-запрос для чтения данных из базы будет везде примерно одинаковый, его нужно вставить в атрибут sqlQuery внутри редактора каждого из шагов DATABASE_READER:

select BigIntColumn,
    BooleanColumn,
    CharColumn,
    DateColumn,
from onebridge.million_row
order by BigIntColumn
limit 10

Этот запрос считает значения полей BigIntColumn, BooleanColumn, CharColumn, DateColumn из таблицы million_row во внутреннюю память системы.

5. С помощью метаданных, назначенных ребрам графа, данные будут переданы в FLAT_FILE_WRITER`ы, которые запишут их в текстовые файлы.

DATA_GENERATOR

DATA_GENERATOR генерирует данные по шаблону, вместо чтения данных из файла, базы данных или любого другого источника данных. Этот шаг может отправлять разные записи на разные выходные порты, используя возвращаемые значения функции generate.

Порты DATA_GENERATOR:

Метаданные на выходных портах могут отличаться.

Атрибуты DATA_GENERATOR:

<attr name="generate">
    <![CDATA[
    let counter = 4;

    function generate() {
        counter+=1;
        $out[0].foo = counter;

        return ALL;
    }
    ]]>
</attr>

SPREADSHEET_READER

SPREADSHEET_READER считывает данные с указанных листов файлов формата .xls или .xlsx. Позволяет указывать маппинг данных из таблицы и метаданных OneBridge. Удаленные файлы доступны для чтения через протоколы FTP и SFTP.

Должен иметь один выходной порт для успешно считанных записей.

Порты SPREADSHEET_READER:

Атрибуты SPREADSHEET_READER:

<Node fileURL="ssr01_in.xlsx" id="SPREADSHEET_DATA_READER" sheet="Sheet1" type="SPREADSHEET_READER">
	<attr name="mapping">
		<![CDATA[<?xml version="1.0" encoding="UTF-8" standalone="yes"?>
			<mapping>
                <globalAttributes>
                    <orientation>VERTICAL</orientation>
                    <step>1</step>
                    <writeHeader>false</writeHeader>
                </globalAttributes>
                <defaultSkip>1</defaultSkip>
                <headerGroups>
                    <headerGroup skip="1">
                        <autoMappingType>ORDER</autoMappingType>
                        <headerRanges>
                            <headerRange begin="A2"/>
                            <headerRange begin="B2"/>
                        </headerRanges>
                    </headerGroup>
                </headerGroups>
            </mapping>
		]]>
	</attr>
</Node>

Пример. Сопоставление полей по порядку.

Нужно прочитать из файла таблицы с количеством проданных некой компанией товаров за первый квартал года. Таблицы имеют одинаковую структуру: название товара, январь, февраль, март. Компания международная. Каждый партнер может использовать свой язык, поэтому вы не можете сопоставить поля по имени.

лист 1:

лист 2:

Решение:

Укажите атрибуты: fileURL, sheet, mapping.

Заполните маппинг следующим образом:

<Node fileURL="${DATAIN_DIR}/Book2.xlsx" sheet="*" type="SPREADSHEET_READER">
<attr name="mapping"><![CDATA[<?xml version="1.0" encoding="UTF-8" standalone="yes"?>
<mapping>
    <globalAttributes>
        <orientation>VERTICAL</orientation>
        <step>1</step>
        <writeHeader>true</writeHeader>
    </globalAttributes>
    <defaultSkip>1</defaultSkip>
    <headerGroups>
        <headerGroup skip="1">
            <autoMappingType>ORDER</autoMappingType>
            <headerRanges>
                <headerRange begin="A1"/>
                <headerRange begin="B1"/>
                <headerRange begin="C1"/>
                <headerRange begin="D1"/>
            </headerRanges>
        </headerGroup>
    </headerGroups>
</mapping>
]]></attr>
</Node>

INPUT_TABLE

Узел INPUT_TABLE предназначен для загрузки в систему данных CSV-формата в виде строки с разделителями. Имеет единственный атрибут, в который помещается строка с перечислением значений полей.

Порты INPUT_TABLE:

Атрибуты INPUT_TABLE:

CSV_READER

CSV_READER считывает данные из плоских файлов в формате CSV. Этот шаг похож на FLAT_FILE_READER, но работает только с CSV-файлами.

Порты CSV_READER:

Атрибуты CSV_READER:

Обрезание данных

1. Входные строки обрабатываются в соответствии с типом данных поля следующим образом:

• Пробелы удаляются как из начала, так и из конца поля для типов данных boolean, date, integer.
• Входная строка остаётся полем, включающим начальные и конечные пробелы в случае типа данных string.

2. Если для атрибута trim установлено значение true, все начальные и конечные пробельные символы удаляются. Поле, состоящее только из пробелов, преобразуется в нулевое значение (строка нулевой длины). Значение false подразумевает сохранение всех начальных и конечных символов пробелов. Входная строка может содержать пробелы только если представляет строковый тип данных. В случае trim = "default", поведение зависит от типа обрабатываемых данных: для типа string, значение строки останется с начальными и конечными пробелами, если они были, для остальных типов - пробелы будут убраны. По умолчанию trim="default".

Для записи данных

Узлы для записи данных могут записывать данные в локальные выходные файлы, отправлять их через подключенный дополнительный выходной порт или вставлять в таблицу базы данных.

Узлы для записи — это компоненты графа, которые выполняются последними, поэтому они не имеют выходных портов.

Каждый узел для записи должен иметь хотя бы один входной порт, через который данные поступают в этот компонент графа.

Узлы для записи могут либо добавлять данные в существующий файл или таблицу базы данных, либо заменять существующее содержимое новым. Для этой цели узли для записи в файлы имеют атрибут Append. По умолчанию для этого атрибута установлено значение false. Это означает, что данные необходимо заменить, а не добавить к имеющимся.

Данные можно записать в один и тот же файл или базу данных несколько раз в течение работы графа с помощью нескольих узлов для записи. Для этого разместите узлы для записи в разных фазах графа.

• FLAT_FILE_WRITER - запись в файл
• RAW_WRITER - записывает данные в файл во внутреннем формате OneBridge
• LOOKUP_TABLE_WRITER - записывает данные в хеш-таблицу
• DATABASE_WRITER - запись в базу данных
• POSTGRESQL_DATA_WRITER - запись в базу данных Postgres с помощью утилиты
• TRASH - прерывание потока данных

Общие свойства узлов для записи

Поддерживаемые форматы URL-адресов для записывающих узлов

Запись в локальные файлы

• /path/filename.out - записывает указанный файл на диск.

Просмотр записанных данных

После создания выходного файла вы можете просмотреть данные в нём в web-приложении на странице проектов на вкладке "Содержимое файла".

Добавление или перезапись

Если целевой файл существует, есть два варианта:

• существующий файл можно заменить;
• записи могут быть добавлены к существующему содержимому.

Добавление или замена настраивается с помощью атрибута Append.

• Если для параметра Append установлено значение true, записи добавляются в файл.
• Если для параметра Append установлено значение false, файл перезаписывается. Append=false по умолчанию.

Функция Append доступна в следующих узлах для записи: FLAT_FILE_WRITER, TRASH.

FLAT_FILE_WRITER

FLAT_FILE_WRITER записывает данные в плоские файлы. Удаленные файлы доступны для записи через протоколы FTP или SFTP.

Порты FLAT_FILE_WRITER:

Атрибуты FLAT_FILE_WRITER:

Пример. Запись данных в файл.

Например, нужно записать обработанные системой данные в файл, используя разделитель «|».

Данные в системе:

Данные, записанные шагом FLAT_FILE_WRITER в файл:

01.02.2011|Горилов|Алексей
29.12.2013|Нечаев|Илья
25.11.2016|Васькин|Николай
23.10.2019|Иванов|Григорий
19.09.2022|Горбунов|Евгений

RAW_WRITER

RAW_WRITER записывает обрабатываемые данные во внутренние файлы формата OneBridgeFile.

Порты RAW_WRITER:

Атрибуты RAW_WRITER:

Пример. Запись данных во внутренний формат.

Чтобы записать данные в файл ${DATAOUT_DIR}/my-file.obf нужно заполнить атрибут fileURL.

RAW_WRITER запишет данные в указанный файл.

Пример. Добавление к существующему файлу.

Добавить записи каждого запуска графа в существующий файл ${DATAOUT_DIR}/my-file.obf. Для этого нужно заполнить атрибут fileURL и append.

LOOKUP_TABLE_WRITER

Узел LOOKUP_TABLE_WRITER записывает данные в хэш-таблицу (Lookup Table).

Порты LOOKUP_TABLE_WRITER:

Атрибуты LOOKUP_TABLE_WRITER:

Следующий пример графа демонстрирует генерацию данных и запись в хэш-таблицу с именем lookupTable002:

<Graph>
    <Global>
        <Metadata id="meta">
            <Record>
                <Field name="n" type="integer"/>
                <Field name="b" type="boolean"/>
            </Record>
        </Metadata>
        <LookupTable id="lookup_table1" key="n" metadata="meta" name="lt1" file="lookupTable002" />
    </Global>
    <Phase number="0">
        <Node id="datagen1" type="DATA_GENERATOR" recordsNumber="4">
            <attr name="generate">
                <![CDATA[
                let i = 0;

                function generate() {
                    $out[0].n = i;
                    $out[0].b = (i % 2 == 0) ? true : false;
                    
                    i++;

                    return ALL;
                }
                ]]>
            </attr>
        </Node>
        <Node id="ltwriter" type="LOOKUP_TABLE_WRITER" lookupTableName="lt1" />
        <Edge id="edge1" fromNode="datagen1:0" toNode="ltwriter:0" metadata="meta" />
    </Phase>
</Graph>

DATABASE_WRITER

DATABASE_WRITER предназначен для выгрузки обработанной информации в базу данных и совершения изменений в базе. Позволяет выполнять несколько SQL-запросов в рамках одной транзакции, для этого выражения в атрибуте sqlQuery разделяются точкой с запятой.

Поддерживает подключение к базам MySQL, Oracle, PostgreSQL.

Подробнее про подключение к базам данных можно прочитать в разделе Соединения с базами данных.

Порты DATABASE_WRITER:

Атрибуты DATABASE_WRITER:

dbConnection="postgres://admin:admin@localhost:5432/dev"  

        insert into test_table (num,str,test_date) 
        values($num,$str,$test_date) 
        returning str;

Пакетный режим и размер пакета

Пакетный режим ускоряет загрузку данных в базу данных.

Оператор возврата недоступен в пакетном режиме.

Помните, что некоторые базы данных возвращают как отклоненные больше записей, чем реально отклонено. Эти базы данных возвращают даже те записи, которые были успешно загружены в базу данных, и отправляют их через выходной порт 0 (если он подключен).

1. batchMode
2. batchSize

Пример. Загрузка записей из OneBridge в SQLite.

Нужно загрузить данные из OneBridge в базу данных SQLite в таблицу Tracking, в поля client, items, total.

Данные в системе:

Решение:

Задайте соединение с базой:

<Connection id="CONN_A" dbURL="${CONN_TYPE}://${DB_01_USR}:${DB_01_PWD}@${DB_01_HOST}:${DB_01_PORT}/${DB_01_DATABASE}"/>

Пропишите в файл графа SQL-запрос:

<Phase ...>
    ...
    <Node id="db_writer" guiX="250" guiY="100" guiName="DatabaseWriter" dbConnection="CONN_A" type="WriterDB">
        <Attr name= “sqlQuery”><![CDATA[
            INSERT INTO public."Tracking" ("client", "items", "total")
            VALUES ($customer, $product, $amount_of_purch)
        ]]></Attr>
    </Node>
    ...
</Phase>

Чтобы вставить значения полей из системы нужно указать название полей из метаданных после знака «$».

Данные будут выгружены в базу данных, соответствующую указанному типу соединения, в таблицу Tracking.

POSTGRESQL_DATA_WRITER

POSTGRESQL_DATA_WRITER массовый загрузчик, подходящий для загрузки большого количества записей в базу данных PostgreSQL. Считывает данные через входной порт. Использует специальную утилиту Copy, которая позволяет загружать данные очень быстро. Для остальных случаев лучше использовать DATABASE_WRITER, для которого не требуется использование специальной утилиты.

Порты POSTGRESQL_DATA_WRITER:

Атрибуты POSTGRESQL_DATA_WRITER:

Пример.

Необходимо загрузить записи с метаданными «Product» (string), «Amount» (int), «date» (date) и «Price» (float) в таблицу Products в базу данных postgres с именем пользователя user001.

Укажите параметры подключения в атрибутах графа и шага POSTGRESQL_DATA_WRITER:

<Connection id="CONN" name="dev" dbURL="postgres://username:admin@localhost:5432/test"/>
<GraphParameters>
	<GraphParameter name="COLUMNS" value="my_boolean,my_integer,my_number,my_decimal,my_string" public="true" />
</GraphParameters>
...
<Node id="psql_writer" dbConnection="CONN" table="my_data_test" parameters="columns=&quot;${COLUMNS}&quot;" type="POSTGRESQL_DATA_WRITER" />

Данные будут внесены в базу:

TRASH

TRASH используется для прерывания потока данных, когда не нужно передавать данные дальше. Узел не имеет выходных портов.

TRASH прерывает поток данных.

Порты TRASH:

Атрибуты TRASH:

Для преобразования данных

Преобразователи — это промежуточные шаги графа. Преобразователи получают данные через подключенные входные порты, обрабатывают их указанным пользователем способом и отправляют через подключенные выходные порты в следующие шаги.

Список шагов-преобразователей данных:

• EXT_SORT - сортирует записи.
• FILTER - фильтрует записи.
• GATHER - собирает записи из разных потоков в один. Порядок выходных записей непредсказуем.
• SIMPLE_COPY - копирует записи.
• MAP - пользовательский алгоритм обработки.
• ROLLUP - создает записи с помощью преобразования.
• CONCATENATE - объединяет записи.
• NORMALIZER - создает одну или несколько выходных записей из каждой входной записи.
• AGGREGATE - вычисляет статистическую информацию о входных данных.
• DEDUP - устраняет копии по ключу.

EXT_SORT

EXT_SORT сортирует полученные записи в соответствии с указанным ключом сортировки и копирует каждую из них на все подключенные выходные порты. Позволяет использовать несколько параллельных потоков для сортировки больших данных.

Порты EXT_SORT:

Атрибуты EXT_SORT:

Пример. Сортировка данных.

Входные записи содержат имена файлов и их размер. Нужно отсортировать файлы по размеру, начиная с самого большого (descending – по убыванию). Метаданные содержат поля «FileName», «FileSize».

Входящие записи:

Решение:

Ключ сортировки: sortKey="FileSize(d)"

Исходящие записи:

FILTER

FILTER фильтрует входные данные в соответствии с логическим выражением. Отправляет все записи, соответствующие выражению фильтра, в первый выходной порт и все отклоненные записи во второй выходной порт.

Порты FILTER:

Атрибуты FILTER:

($in[0].count != 177) && ($in[0].product == "карандаш") 
 

Пример. Фильтрация данных.

Входные данные содержат данные о продуктах, проданных в прошлом году. Нужно узнать данные только по карандашам. Метаданные содержат поля Product, Count и Location.

Входящие записи:

Решение:

Выражение для фильтрации: $in[0].product == "карандаш"

Исходящие записи:

GATHER

GATHER собирает записи со всех входящих портов и отправляет в порядке получения на все выходные порты. Порядок получения записей не зависит от порядка входных портов. Этот узел соблюдает порядок записей в потоках, но не соблюдает порядок потоков. На выходе получается список записей в непредсказуемом порядке. Порядок записей на разных выходах будет одинаков. Узел не имеет атрибутов.

Порты GATHER:

Пример. Сбор записей с нескольких входных портов.

Нужно собрать записи с нескольких потоков. Потоки содержат одно поле - "id".

Входящие записи:

Решение:

1. Создать метаданные: имя="id", тип="integer"

2. Поместить компоненты, передающие данные и GATHER на рабочую область.

3. Соединить узлы ребрами и назначить рёбрам метаданные.

4. После запуска графа записи со всех портов будут объединены:

SIMPLE_COPY

SIMPLE_COPY получает записи через один входной порт и копирует каждую из них на все подключенные выходные порты. Узел не имеет атрибутов.

Порты SIMPLE_COPY:

Пример. Копирование данных.

Нужно скопировать записи с метаданными «carID» и «mark» в три потока.

Входящие записи:

порт 0:

Решение:

Для копирования в несколько потоков нужно подключить SIMPLE_COPY несколько выходных портов. Записи на всех выходных портах будут идти в одинаковом порядке.

Исходящие записи:

порт 0:

порт 1:

порт 2:

MAP

MAP позволяет написать пользовательский алгоритм обработки данных, используя внутренний язык системы. Можно по своему усмотрению трансформировать данные между входным и выходными портами, если предложенных шагов не хватает для выполнения необходимых преобразований данных.

Имеет единственный входной порт и как минимум один выходной. Может отправлять разные записи в разные выходные порты или даже отправлять одну и ту же запись на несколько выходных портов. Работает только с одним элементом, сохраняет порядок записей.

С помощью MAP можно:

• удалить ненужные значения полей
• проверить записи с помощью функций или регулярных выражений
• создать новые или изменить существующие поля
• преобразовать типы данных

Порты MAP:

Атрибуты MAP:

<attr name="transform">
    <![CDATA[
        function transform() {
            $out[0].person = $in[0].name.toString() + "_" + $in[0].surname.toString();
            $out[1].person = $in[0].name.toString().toUpperCase() + " " + $in[0].surname.toString().toUpperCase();
            return ALL;
        }
    ]]>
</attr>

Пример. Обработка данных с помощью MAP.

Нужно получить произведение и сумму полученных на вход данных и отправить результаты на разные выходные порты. Входные метаданные содержат поля a, b. Нужно отправить результат перемножения a*b на первый порт, а результат сложения a+b на второй порт.

Входящие записи:

Решение:

Преобразование:

<Attr name="transform"><![CDATA[
    function transform() {
    //transform code
        var res_mul = $in[0].a * $in[0].b;
        var res_add = $in[0].a + $in[0].b;

        $out[0].res_mul = res_mul;
        $out[1].res_add = res_add;

        return ALL;
    }
    ]]>
</Attr>

Исходящие записи:

порт 0:

порт 1:

ROLLUP

ROLLUP создает одну или несколько выходных записей из одной или нескольких входных записей. Может отправлять разные записи на разные выходные порты, указанные пользователем. Записи должны быть отсортированы перед подачей в этот шаг.

Метаданные на разных выходных портах могут различаться.

Порты ROLLUP:

Атрибуты ROLLUP:

function initGroup(groupAccumulator) {
    groupAccumulator.metaFieldName = 0;
}

function updateGroup(groupAccumulator) {
    groupAccumulator.metaFieldName = groupAccumulator.metaFieldName + $in[0].metaFieldName;
    return false;
}

function finishGroup(groupAccumulator) {
    return true;
}

function updateTransform(counter, groupAccumulator) {
    return SKIP;
}

function transform(counter, groupAccumulator) {
    if(counter > 0) return SKIP;
    $out[0] = $in[0];
    $out[0].metaFieldName = groupAccumulator.metaFieldName;
    return ALL;
}

Схема работы шага ROLLUP

Функции шага ROLLUP

Когда приходит первая запись, срабатывает initGroup(groupAccumulatorMetadataId). Он инициализирует группу записей, объединенных групповым акумулятором groupAccumulatorMetadataId.

function initGroup(out_rlp) {
  group = $in[0].field;
  num = 0;
}

Далее для каждой записи, которая соответствует этой группе, вызывается updateGroup(groupAccumulatorMetadataId).

function updateGroup(out_rlp) {
  num = $in[0].num + num;

  return true;
}

Если updateGroup вернул true, то для каждой записи еще вызывается updateTransform(counter, groupAccumulatorMetadataId) столько раз сколько указан counter внутри, пока не вернётся SKIP.

<metadata name> groupAccumulatorMetadataId (метаданные, указанные пользователем).

function updateTransform(counter,out_rlp) {
  if(counter > 0) return SKIP;

  $out[0].field = $in[0].field;
  $out[0].num = $in[0].num;

  return ALL;
}

Когда группа закончилась, отрабатывает finishGroup(groupAccumulatorMetadataId).

<metadata name> groupAccumulatorMetadataId

function finishGroup(out_rlp) {
    return true;
}

Затем выполняется transform(counter, groupAccumulatorMetadataId).

<metadata name> groupAccumulatorMetadataId (метаданные, указанные пользователем).

function transform(counter,out_rlp) {
  if(counter > 0) return SKIP;

Входные записи или поля

Входные записи или поля доступны в функциях initGroup(), updateGroup(), finishGroup(), updateTransform(), transform().

Выходные записи или поля

Выходные записи или поля доступны в функциях updateTransform(), transform().

Групповой аккумулятор

Групповой аккумулятор доступен в функциях initGroup(), updateGroup(), finishGroup(), updateTransform(), transform().

Пример. Сгруппировать записи.

На вход в ROLLUP подаются записи, некоторые из которых имеют одинаковое значение поля "num". Нужно соединить значения всех полей, у которых одинаковое значение num и подать на выходной порт.

1. Создать метаданные.

rollin:

• stra (string),
• num (integer),
• stro (string),

2. Поместить компоненты на рабочую область.
3. Соединить шаги ребрами и назначить им метаданные.
4. Задать значения атрибутов шагу ROLLUP.

groupKeyFields = "num",
groupAccumulatorMetadataId = "rollin",
transform =

function initGroup(groupAccumulator) {
	groupAccumulator.s = null;
	groupAccumulator.t = 0;
	groupAccumulator.r = null;
}

function updateGroup(groupAccumulator) {
	groupAccumulator.s = groupAccumulator.s + $in[0].stra;
	groupAccumulator.t = groupAccumulator.t + $in[0].num;
	groupAccumulator.r = groupAccumulator.r + $in[0].stro;
	return true;
}

function finishGroup(groupAccumulator) {
	return true;
}

function updateTransform(counter, groupAccumulator) {
	return SKIP;
}

function transform(counter, groupAccumulator) {
	if(counter > 0) return SKIP;
	$out[0].s = groupAccumulator.s;
	$out[0].t = groupAccumulator.t;
	$out[0].r = groupAccumulator.r;
	return ALL;
}

5. Результатом выполнения графа будут строки из входных записей, значения полей которых соединенны при условии наличия одинакового значения поля "num".

CONCATENATE

CONCATENATE получает записи, поступившие из первого входного порта, отправляет их на общий выходной порт и добавляет к ним записи, из остальных входных портов. Если узел имеет более двух входных портов, записи принимаются и отправляются на выход в соответствии с порядком входных портов. Если некоторые входные порты не содержат записей, такие порты пропускаются. Узел не имеет атрибутов.

Пример. Объединение записей.

Нужно объединить записи. Поданные на вход метаданные имеют поля «flower», «color».

Входящие записи:

порт 0:

порт 1:

порт 2:

Решение:

После конкатенации будут получены следующие записи.

Исходящие записи:

порт 0:

NORMALIZER

NORMALIZER создает одну или несколько выходных записей из каждой отдельной входной записи. Входные записи не обязательно сортировать.

Порты NORMALIZER:

Атрибуты NORMALIZER:

<attr name="normalize"><![CDATA[
	function count() {
	    if ($in[0].foo >= 50) {	return 1 } 
        else { return 0 }
			
	function transform() {
		$out[0].num = $in[0].foo;
		$out[0].str = "asd"+$in[0].foo/3.14;
		return ALL;
	}
]]></attr>

Для NORMALIZER нужно определить функцию преобразования. Преобразование должно быть определено в файле графа в артибуте normalize. Эта функция будет вызываться заданное количество раз для каждой записи, поданной на вход этому шагу.

Функции шага NORMALIZER:

integer count()

function count() {
   customers = split($in[0].customers,";");
   return length(customers);
}

integer transform()

function transform(idx) {
   myString = customers[idx];
   $out[0].OneCustomer = str2integer(myString);
   $out[0].RecordNo = $in[0].recordNo;
   $out[0].OrderWithinRecord = idx;

   return ALL;
}

Пример. Преобразование записи с многозначными полями в несколько записей.

Входные записи содержат название должности и список имён сотрудников. Нужно преобразовать записи в кортежи, содержащие название должности и одно имя сотрудника.

менеджер | [Егор, Алина]
разработчик | [Артём, Никита, Данил]

Решение

Определим преобразование, используя атрибут normalize:

function count() {
    return length($in[0].users);
}

function transform() {
    $out[0].group = $in[0].group;
    $out[0].user = $in[0].users;
    return ALL;
}

NORMALIZER вернёт следующие записи:

менеджер |Егор
менеджер |Алина
разработчик|Артём
разработчик|Никита
разработчик|Данил

AGGREGATE

Получает записи через один входной порт, вычисляет статистическую информацию о записях входных данных и отправляет их на все выходные порты. Требует сортировки входных записей.

Порты AGGREGATE:

Атрибуты AGGREGATE:

Функции AGGREGATE:

Пример. Вызов функций avg, count, max, last и sum через шаг AGGREGATE

<Graph>
  <Global>
    <Metadata id="meta0">
      <Record name="inMeta" type="delimited" recordDelimiter="\n" fieldDelimiter=",">
        <Field name="key1" type="integer"/>
        <Field name="key2" type="integer"/>
        <Field name="field1" type="number"/>
        <Field name="field2" type="number"/>
        <Field name="field3" type="number"/>
      </Record>
    </Metadata>
    <Metadata id="meta1">
      <Record name="outMeta" type="delimited" recordDelimiter="\n" fieldDelimiter=",">
        <Field name="avg" type="number"/>
        <Field name="count" type="number"/>
        <Field name="countnotnull" type="number"/>
        <Field name="countunique" type="number"/>
        <Field name="first" type="integer"/>
        <Field name="firstnotnull" type="number"/>
        <Field name="last" type="number"/>
        <Field name="lastnotnull" type="number"/>
        <Field name="max" type="number"/>
        <Field name="md5" type="string"/>
        <Field name="median" type="number"/>
        <Field name="min" type="number"/>
        <Field name="modus" type="number"/>
        <Field name="sum" type="number"/>
        <Field name="const" type="string"/>
      </Record>
    </Metadata>
  </Global>
  <Phase number="0">
    <Node id="DataGenerator0" guiX="100" guiY="50" guiName="DataGenerator" type="DATA_GENERATOR" recordsNumber="20">
      <attr name="generate"><![CDATA[// Generates output record.

function generate() {
    $out[0].key1 = Math.floor(Math.random() * 10);
    $out[0].key2 = Math.floor(Math.random() * 10);
    $out[0].field1 = Math.floor(Math.random() * 1000);
    $out[0].field2 = Math.floor(Math.random() * 1000);
    $out[0].field3 = Math.floor(Math.random() * 1000);
    return ALL;
}]]></attr>
    </Node>

    <Node id="Sort0" guiX="300" guiY="50" guiName="Sort" type="EXT_SORT" sortKey="key1;key2">
    </Node>    
    <Node id="FlatFileWriter0" guiX="700" guiY="50" guiName="FlatFileWriter0" type="FLAT_FILE_WRITER" fileURL="aggregate.csv" />

    <Edge id="Edge0" fromNode="DataGenerator0:0" toNode="Sort0:0" metadata="meta0"/>
    <Edge id="Edge2" fromNode="Sort0:0" toNode="FlatFileWriter0:0" metadata="meta0"/>
    <Edge id="Edge1" fromNode="Sort0:1" toNode="Aggregate0:0" metadata="meta0"/>
  </Phase>

  <Phase number="1">
    <Node id="Aggregate0" guiX="500" guiY="150" guiName="Aggregate" aggregateKey="city" zeroCount="true" mapping="$avg:=avg($key1);$count:=count($key1);$countnotnull:=countnotnull($key2);$countunique:=countunique($key2);$first:=first($key1);$firstnotnull:=firstnotnull($field2);$last:=last($field2);$lastnotnull:=lastnotnull($field2)" type="AGGREGATE">
    </Node>
    <Edge id="Edge3" fromNode="Aggregate0:0" toNode="FlatFileWriter1:0" metadata="meta1"/>

    <Node id="FlatFileWriter1" guiX="700" guiY="150"  guiName="FlatFileWriter0" type="FLAT_FILE_WRITER" fileURL="agg.csv" />
  </Phase>
</Graph>

DEDUP

DEDUP удаляет повторяющиеся записи по ключу. Требует сортировки входных записей.

Порты DEDUP:

Атрибуты DEDUP:

Пример. Дедупликация несортированных записей.

Записи содержат время входов на некоторый ресурс с различных ip адресов. Нужно найти время первого входа для каждого ip адреса. Метаданные содержат поля «ip» и «time».

Входящие записи:

Решение:

Перед передачей в DEDUP данные надо прочитать и отсортировать. Для сортировки укажем ключ sortKey="ip(a);time(a)". При дедупликации укажем ключ: dedupKey = «ip». Текст графа будет выглядеть следующим образом:

<Graph>
  <Global>
    <Metadata id="meta0">
      <Record name="meta" type="delimited" recordDelimiter="\n" fieldDelimiter="|">
        <Field name="ip" type="string"/>
        <Field name="time" type="string"/>
      </Record>
    </Metadata>
  </Global>
  <Phase number="0">
    <Node id="FlatFileReader0" guiX="100" guiY="83" guiName="FlatFileReader" type="FLAT_FILE_READER" fileURL="dedup_in.txt">
    </Node>
    <Node id="Sort0" guiX="300" guiY="83" guiName="Sort" type="EXT_SORT" sortKey="ip(a);time(a)" sortInMemory="false">
    </Node>
    <Node id="Trash0" guiX="633" guiY="83" guiName="Trash" type="TRASH" debugOutput="true">
    </Node>
    <Node id="Dedup0" guiX="467" guiY="83" guiName="Dedup" type="DEDUP" dedupKey="ip" keep="first" numberOfDuplicates="1">
    </Node>
    <Edge id="Edge0" fromNode="FlatFileReader0:0" toNode="Sort0:0" metadata="meta0"/>
    <Edge id="Edge1" fromNode="Sort0:0" toNode="Dedup0:0" metadata="meta0"/>
    <Edge id="Edge2" fromNode="Dedup0:0" toNode="Trash0:0" metadata="meta0"/>
  </Phase>
</Graph>

Исходящие записи:

Для объединения данных

Шаги этой группы называются "Соединители". Они служат для объединения записей из потоков с потенциально разными метаданными в соответствии с заданным ключом соединения и способом преобразования.

Соединители имеют как входные, так и выходные порты. Первый входной порт шага-соединителя называется "главным" или "мастером" и обозначается номером «0», остальные входные порты — "подчинённые".

Соединители всегда объединяют только записи из главного порта с записями из подчинённых портов. И не объединяют записи из ведомых портов между собой.

• HASH_JOIN - объединяет потоки данных из двух и более источников по ключу, не требует предварительной сортировки
• MERGE_JOIN - объединяет потоки данных из двух и более источников по ключу, требует предварительную сортировку
• CROSS_JOIN - создает декартово произведение записей из подключенных входных портов, не требует предварительной сортировки
• DBJOIN - объединяет по ключу два потока данных, один из которых - база данных, не требует предварительной сортировки
• DATA_INTERSECTION - объединяет отсортированные потоки данных, может применять преобразование.

HASH_JOIN

HASH_JOIN объединяет потоки данных по ключу.

Этот шаг получает данные через два или более входных порта, каждый из которых может иметь различную структуру метаданных. Записи не обязательно сортировать перед передачей в этот шаг.

Сначала HASH_JOIN считывает записи из всех подчинённых портов и сохраняет их в хэш-таблицы.

Для каждого подчинённого порта создается отдельная хэш-таблица. Размер всех созданных хэш-таблиц не должен превышать размер оперативной памяти сервера, так как хэш-таблицы хранятся в оперативной памяти и ее переполнение приведет к завершению графа с ошибкой. Поэтому имеет смысл в главный входной поток подавать большое количество записей, а в подчинённые потоки – небольшие группы записей.

Затем для каждой записи из мастера производится поиск совпадения с записями из каждой хэш-таблицы по заданному ключу соединения.

Если совпадение найдено, кортеж из записи главного порта и хэш-таблицы подчинённого порта трансформируется заданным образом. Полученная после преобразования запись подаётся на первый выходной порт. Метод преобразования вызывается для каждого кортежа главной и соответствующих подчинённых записей. Записи из главного порта, которые не были объединены подаются на второй выходной порт.

Порты HASH_JOIN:

Атрибуты HASH_JOIN:

    function transform() {
    $out[0].user_code = $in[0].user_id;
    $out[0].bind_code = $in[1].bind_code;
    $out[0].bind_datetime = $in[1].bind_datetime;
            
    return ALL;

Пример.

Даны два потока записей. В одном потоке содержится информация о названии продукта в поле «Product» и его цвете на русском языке «rus_color», во втором потоке – названию цвета на русском языке соответствует название на английском «eng_color». Задача сопоставить продукт и его цвет на английском языке.

порт0:

порт1:

Ключ соединения: joinKey="$rus_color"

Формула для объединения:

<Attr name="transform">
<![CDATA[
    function transform() {
    //transform code
        $out[0].product = $in[0].product;
        $out[0].eng_color = $in[1].eng_color;
    return ALL;
    }
]]></Attr>

Исходящие записи:

порт0:

порт1:

MERGE_JOIN

Объединяет данные из двух или более источников данных по общему ключу. Данные должны быть отсортированы перед подачей в этот шаг.

MERGE_JOIN получает данные через два или более входных порта, каждый из которых может иметь различную структуру метаданных. Затем объединенные данные отправляются на первый выходной порт. Необъединенные данные можно вывести на второй выходной порт.

Порты MERGE_JOIN:

Типы полей метаданных на первом входном и втором выходном портах должны быть одинаковыми, имена полей при этом могут отличаться.

Атрибуты MERGE_JOIN:

<attr name="transform"><![CDATA[
    function transform() {
        $out[0].id = $in[0].id;
        $out[0].name = $in[0].name;

        return ALL;
    }
    ]]>
</attr>

Пример. Объединить записи из двух потоков по ключу.

1. Описать метаданные
2. Переместить шаги на рабочую область.
3. Соединить шаги ребрами и назначить им метаданные.
4. Заполнить атрибуты MERGE_JOIN:

joinKey = "$s1(a);$s3#$m1(a);$m3"
joinType = "leftOuter"
transform =

function transform() {
    $out[0].s = $in[0].s1 + $in[1].m1;
    $out[0].m = $in[0].s3 + $in[1].m3;
    return ALL;
}

slaveDuplicates = "false"
equalNull = "true"

5. Данные с двух потоков будут объединены.

CROSS_JOIN

CROSS_JOIN создает декартово произведение записей из подключенных входных портов.

Каждая строка из первого порта соединяется с каждой строкой из последующих портов, в результате получаются все возможные сочетания значений со всех портов. Возможно преобразование данных с помощью атрибута transform.

CROSS_JOIN автоматически передаёт метаданные на выходной порт в соответствии с метаданными на его входных портах.

Заметка: при обработке очень большого количества записей, на жёстком диске могут быть созданы временные файлы с обрабатываемыми записями. Это предотвращает чрезмерное использование оперативной памяти.

Порты CROSS_JOIN:

Атрибуты CROSS_JOIN:

<attr name="transform"><![CDATA[
    function transform() {
        $out[0].id = $in[1].id;
        $out[0].name = $in[1].name;
        $out[0].test_data_id = $in[0].test_data_id;
        $out[0].tmstmp = $in[0].tmstmp;
        $out[0].category_id = $in[0].category_id;

        return ALL;
    }
    ]]>
</attr>

Пример.

Создать таблицу со всеми возможными сочетаниями игроков в бильярд из двух команд:

Игроки первой команды:

Вася
Маша
Никита

Игроки второй команды:

Алёна
Петя
Лиза

Решение: Нужно только подключить источники данных к портам компонента CROSS_JOIN. Настройка атрибутов компонента не требуется.

В результате получится такой набор пар игроков в бильярд:

Вася | Алёна
Вася | Петя
Вася | Лиза
Маша | Алёна
Маша | Петя
Маша | Лиза
Никита | Алёна
Никита | Петя
Никита | Лиза

Заметка: Ребро, по которому передаётся наибольшее количество записей, должно быть подключено к первому входному порту.

DBJOIN

DBJOIN получает данные через один входной порт и объединяет их с данными из таблицы базы данных. Эти два источника данных могут иметь разную структуру метаданных.

Шаг DBJOIN не требует сортировки входных данных и работает очень быстро, поскольку данные обрабатываются в памяти.

После объединения к данным применяется преобразование и результат отправляется на первый выходной порт. Второй выходной порт может использоваться для вывода несовпадающих по ключу записей из основного потока.

Поток, передающий данные через первый входной порт, называется основным, а поток данных из базы называется подчинённым. Его данные считаются поступившими через виртуальный входной порт. Каждая основная запись сопоставляется с подчинённой записью по одному или нескольким полям, называемым ключом соединения.

Порты DBJOIN:

Атрибуты DBJOIN:

        select c.ordinal_position
        from information_schema.tables t
            join information_schema.columns c on c.table_name=t.table_name
                                              and c.table_schema=t.table_schema
        where lower(t.table_schema)=lower(?)
            and lower(t.table_name)=lower(?)
            and lower(c.column_name)=lower(?)

function transform() {
    $out[0].customer_id = $in[0].person_number;
    $out[1].customer = $in[0].person_name;
return ALL;
}

Ключ соединения

Ключ соединения — это последовательность имен полей из основного источника данных, отделенных друг от друга точкой с запятой. Ключ можно определить в редакторе шага. Порядок имен полей должен соответствовать порядку ключевых полей таблицы базы данных (и их типам данных). Подчинённая часть ключа соединения должна быть определена в атрибуте sqlQuery.

$first_name;$last_name

Это поля, которые служат для объединения основных записей с подчинёнными записями. SQL-запрос должен содержать выражение, которое может выглядеть следующим образом:

... where fname=? and lname=?

Значение first_name будет подставлено на место первого знака вопроса в этом условии, а last_name - на место второго. Сначала будет произведён поиск совпадений по joinKey в кеш-памяти, если подходящих записей не обнаружится, то данные будут запрошены из базы данных, иначе - найденная запись сразу отправится для преобразования в функцию transform.

Преобразование

Преобразование в DBJOIN позволяет определить способ сопоставления данных, с помощью которого записи буду отправлены на первый выходной порт. Несоединенные записи из основного потока, отправляемые на второй выходной порт, не могут быть изменены в рамках преобразования DBJOIN.

Заметка: Если преобразование указано во внешнем файле, рекомендуется явно указать кодировку файла в артибуте charset.

Заметка:

• при получении более одной записи из базы в лог будет выведено предупреждение "read more than one record".
• при автоматическом увеличении рамера кеша для обработки данных - "riched cache size".

Пример. Соединение записей из двух источников.

1. Объединим записи из двух баз. Используем DB_READER для чтения из базы postgres и DBJOIN для чтения из firebird и объединения потоков по ключу.

Запрос для DB_READER:

sqlQuery = "select bigintcolumn, booleancolumn, charcolumn, smallintcolumn, textcolumn from onebridge."million_row" order by bigintcolumn limit 100"

Атрибуты для DBJOIN:

sqlQuery = "select FIRST 100 bigintcolumn, booleancolumn, charcolumn, smallintcolumn, textcolumn from MILLION_ROW WHERE bigintcolumn = ?"

Объединённые данные можно вывести на первый выходной порт DBJOIN, а не обьединенные данные с главного входного порта - на второй порт.

DATA_INTERSECTION

DATA_INTERSECTION получает отсортированные данные с двух портов, сравнивает их значения по ключу и обрабатывает записи следующим образом:

• Входные записи с обоих входных портов, совпавшие по ключу, обрабатываются в соответствии с определённым в атрибуте transform преобразованием, и результат отправляется на выходной порт 1.

• Не подошедшие по ключу записи со входного порта 0, отправляются без изменений на выходной порт 0.

• Не подошедшие по ключу записи из порта 1 - на выходной порт 2.

Записи считаются находящимися на обоих портах, если значения всех полей ключа соединения в них совпадают.

Преобразование должно быть определено, если подключён выходной порт 1.

Перед попаданием в данный шаг данные должны быть отсортированы.

Порты DATA_INTERSECTION:

Атрибуты DATA_INTERSECTION:

function integer transform() {
    $out[0] = $in[0];
    $out[1] = $in[0] + $in[1];
    $out[2] = $in[1];
return ALL;
}

Ключ соединения

Выражается как последовательность отдельных подвыражений, отделенных друг от друга точкой с запятой. Каждое подвыражение представляет собой присвоение имени поля из первого входного порта (с префиксом в виде знака доллара $) слева и имени поля из второго входного порта (с префиксом $) с правой стороны.

Дублирование данных

Компонент DATA_INTERSECTION может возвращать количество записей, отличное от исходного количества входных записей.

Если для параметра keyDuplicates установлено значение false, количество выходных записей может быть меньше количества входных записей, поскольку используется только первая из записей с дубликатом ключа.

Если для параметра keyDuplicates установлено значение true, количество выходных записей может быть больше, чем количество входных записей. На выходе создается декартово произведение записей, имеющих одинаковый ключ.

Для управления графами

Узел из группы управления графами позволяют запускать другие графы, отслеживать и при необходимости прерывать граф.

Реализованы следующие узел для управления графами:

• EXECUTE_GRAPH - запускает графы и может передать в них параметры.
• GET_JOB_INPUT - извлекает значения параметров графа и отправляет их в выходной порт.
• SET_JOB_OUTPUT - заполняет значения словаря входящими данными из потока.
• SUCCESS - принудительно завершает граф успешно.
• FAIL - принудительно завершает граф с ошибкой.
• EXECUTE_SCRIPT - выполняет указанный скрипт.

EXECUTE_GRAPH

Шаг EXECUTE_GRAPH запускает граф с определенными настройками, ожидает завершения графа и предоставляет результаты и детали выполнения на выходные порты.

Порты EXECUTE_GRAPH:

Атрибуты EXECUTE_GRAPH:

function transform() {
    $out[0].jobURL = "inner-graph.grf"; //переопределение значения атрибута jobURL (имя вызываемого графа)
    $out[1].data_out = "data-out.txt"; // передача значения параметра в вызываемый граф
    $out[1].currency = '30'; // передача значения параметра в вызываемый граф
    $out[2].dct = dictionary.d1; //передача значения словаря в вызываемый граф

    return ALL;
}

function transform() {
    $out[0].boo = $in[0].boo;
    $out[0].runId = $in[1].runId.toString();
    $out[0].originalJobURL = $in[1].originalJobURL.toString();
    $out[0].startTime = $in[1].startTime.toString();
    $out[0].endTime = $in[1].endTime.toString();
    $out[0].status = $in[1].status.toString();
    $out[0].dct1 = $in[2].dct1;

    return ALL;
}

function transform() {
        $out[1].status = $in[1].status.toString();

        return ALL;
}

Подробности хода выполнения

Компонент считывает входную запись, выполняет граф на основе значений входящих данных, ждет завершения графа и отправляет результаты на соответствующий порт. Результаты успешного запуска графа отправляются на первый выходной порт. Результаты неудачного запуска отправляются на второй выходной порт (порт ошибки).

Если запуск графа прошел успешно, компонент продолжает обработку следующих входных записей. В противном случае компонент прекращает выполнение других графов, и с этого момента все входящие записи игнорируются, а информация об игнорируемых записях отправляется на порт вывода ошибок.

Подключенные и отключенные порты

В случае, если входной порт не подключен, выполняется только один граф с настройками по умолчанию, указанными в атрибутах компонента.

В случае, если первый выходной порт не подключен, компонент не выводит результаты выполнения графа.

Если второй выходной порт (порт ошибки) не подключен, первый граф с ошибкой приведет к прерыванию родительского графа.

Конфигурация компонента

Для запуска графа с помощью шага EXECUTE_GRAPH необходимо указать местоположение исполняемого графа в атрибуте jobURL.

Большинство настроек выполнения можно указать в шаге с помощью атрибутов компонента, описанных ниже.

Настройки выполнения графа можно изменять для каждого запуска на основе данных из входящего потока в атрибуте inputMapping.

Типы выполнения графа

EXECUTE_GRAPH поддерживает синхронное (последовательное) и асинхронное (параллельное) выполнение графов.

Для управления синхронностью выполнения используйте следующие атрибуты шага:

• concurrentRunsLimit - целое число, обозначающее сколько графов одновременно могут выполняться. По умолчанию значение равно 1 и дочерние графы выполняются параллельно, но если установить большее значение, то графы смогут выполняться асинхронно.
• orderOutput - указывает порядок информации о дочерних графах, выдаваемой на выходной порт шага ExecuteGraph. По-умолчанию установлено значение true и выходные данные подаются в соответствии с порядком запуска дочерних графов. При false, результаты выполнения будут передаваться на выходной порт по мере выполнения дочерних графов.

Мапинг входных данных

Атрибут inputMapping позволяет переопределить настройки шага на основе данных из входящего потока.

Маппинг входных данных — это преобразование, которое выполняется для каждой входной записи. С помощью inputMapping можно переопределить атрибут jobURL и передать в исполняемый граф значения его атрибутов и записи словаря.

На первый выходной порт можно подать значение для переопределения атрибута jobURL, а на второй выходной порт - параметры для исполняемого графа.

Можно задавать не только явно определённые публичные параметры, но и определять новые параметры, они будут доступны внутри графа по аналогии с такими встроенными параметрами как runId.

$out[0].jobURL = "newJob.grf" 

$out[1].graphParameterName = "<some value>"

$out[2].dictionaryName = "<some value>"

Маппинг выходных данных

outputMapping — это преобразование, которое используется для заполнения потока, передаваемого в первый выходной порт шага EXECUTE_GRAPH. Этот маппинг используется для вывода данных при успешном выполнении графа.

Данные, предоставляемые на первый выходной порт EXECUTE_GRAPH с помощью outputMapping описаны в таблице ниже. Первый выходной порт задействуется только если статус графа $in[1].status = "SUCCEEDED", в противном случае будет вызван errortMapping и данные пойдут на второй выходной порт.

Маппинг ошибок

errorMapping — это тоже трансформация. Она используется для вывода ошибок. Данные, которые можно отправить через errorMapping аналогичны описанным в таблице в outputMapping.

Маппинг ошибок используется в том случае, если внутренний граф завершился неудачно - со статусом $in[1].status = "FAILED" - тогда вместо первого заполняется второй выходной порт шага EXECUTE_GRAPH.

Если маппинг ошибок не определен, а во внутреннем графе произошла ошибка - родительский граф не сможет ее обработать и упадёт.

Пример передачи параметров через словарь

Для передачи данных из основного графа во внутренний через словарь, необходимо использовать второй выходной порт в inputMapping. Для передачи значений из словаря внутреннего графа в основной - второй входной порт в outputMapping.

Задание: Передать значение в словарь внутреннего графа, изменить его, получить изменённое значение и вывести его в лог.

Решение: Чтобы запустить из графа другой граф - используйте шаг EXECUTE_GRAPH. Чтобы передать значения в вызываемый граф - заполните атрибут inputMapping, присвоив начальное значение записи словаря вызываемого графа. Изменённое внутри вызываемого графа значение словаря можно получчить в основном графе через outputMapping шага EXECUTE_GRAPH.

В inputMapping шага execgrf через второй выходной порт присваиваем значение 11 записи словаря с именем foo, определённого во внутреннем графе. Значение словаря передаётся во внутренний граф. В outputMapping получаем через второй входной порт изменённое значение записи этого словаря.

    <Node id="execgrf" guiX="386" guiY="49" guiName="exec" type="EXECUTE_GRAPH" jobURL="dict_inner3.grf">
      <attr name="inputMapping"><![CDATA[ 
                function transform() {
                    $out[2].foo = 11;
                    return ALL;
                }
                ]]></attr>
      <attr name="outputMapping"><![CDATA[ 
                function transform() {
                    $out[0].foo = $in[2].foo;
                    return ALL;
                }
                ]]></attr>
    </Node>

Объявление словаря в теге <Global> во внутреннем графе:

<Dictionary>
    <Entry dictval.value="1" name="foo" input="true" output="true" type="integer" />
</Dictionary>

Переопределение значения записи словаря foo в датагенераторе внутреннего графа:

    <Node id="datagen1" guiX="98" guiY="57" guiName="datagen1" type="DATA_GENERATOR" recordsNumber="1">
      <attr name="generate"><![CDATA[
                function generate() {
                    $out[0].foo = dictionary.foo;
                    dictionary.foo = 43;
                    return ALL;
                }
                ]]></attr>
    </Node>

GET_JOB_INPUT

Шаг GET_JOB_INPUT извлекает значения параметров графа и отправляет их в выходной порт. Компонент создает одну выходную запись, которая заполняется содержимым словаря или параметрами графа.

Порты GET_JOB_INPUT:

Атрибуты GET_JOB_INPUT:

function transform() {
    $out[0].b = dictionary.in1;
return ALL;
}

Пример. Прочитать значения словаря и параметра.

Например, нужно прочитать значение словаря "dct1" и параметра "prm1" и передать их дальше для обработки.

Для этого понадобится шаг GET_JOB_INPUT и TRASH для вывода данных и метаданные для передачи данных.

В GET_JOB_INPUT нужно заполнить значение атрибута "mapping" следующим присвоением:

function transform() {
	$out[0].dct = dictionary.dct1;
	$out[0].prm = "${prm1}";
return ALL;
}

Значения словаря и параметра будут поданы на выходной порт шага GET_JOB_INPUT.

SET_JOB_OUTPUT

Шаг SET_JOB_OUTPUT заполняет значения словаря входящими данными из потока. Выходные записи словаря заполняются в соответствии с маппингом. Первая входная запись устанавливает значения записей словаря, а последующие входные записи переопределяют существующие значения.

Порты SET_JOB_OUTPUT:

Атрибуты SET_JOB_OUTPUT:

function transform() {
    dictionary.in2 = $in[0].b;
return ALL;
}

Пример. Присвоить значения из входного потока словарю.

Например, нужно прочитать значение поля "word" и присвоить его словарю "dct1".

Для этого понадобится шаг FLAT_FILE_WRITER, чтобы передать значение поля, SET_JOB_OUTPUT для установки значения словаря. Для проверки можно использовать GET_GOB_INPUT и TRASH для вывода данных словаря на ребро.

В SET_JOB_OUTPUT нужно заполнить значение атрибута "mapping" следующим присвоением:

function transform() {
	dictionary.dct1 = $in[0].word;
return ALL;
}

Значение поля "word" будет присвоено словарю с именем "dct1".

SUCCESS

SUCCESS — это успешная конечная точка рабочего процесса. Записи, поступающие в компонент, больше не обрабатываются — они считаются успешно обработанными в рамках текущего запуска. У шага только один входной порт. Шаг не содержит атрибутов.

Порты SUCCESS:

FAIL

FAIL прерывает выполнение графа как только в него попадают записи. Родительский граф останавливается со статусом Не выполнено.

Порты FAIL:

EXECUTE_SCRIPT

Шаг EXECUTE_SCRIPT запускает указанный скрипт с помощью выбранного интерпретатора.

Если к входному порту не подключено ребро, шаг запускает скрипт только один раз. В этом случае создается одна выходная запись.

Когда на входной порт поступают записи, выполняется одно выполнение скрипта для каждой записи и создается одна выходная запись для каждого выполнения скрипта.

Если скрипт выполнен успешно, шаг продолжает обработку следующих входных записей. В противном случае шаг прекращает выполнение скрипта и завершается с ошибкой.

Порты EXECUTE_SCRIPT:

Атрибуты EXECUTE_SCRIPT:

<attr name="inputMapping">
    <![CDATA[
        function transform() {
            $out[0].script = 'zip -r '+fileNameWithoutExtension+'.zip '+fileName+ ' --password ${ARCHIVE_PASSWORD}';
        return ALL;
        }
    ]]>
</attr>

<attr name="outputMapping">
    <![CDATA[
        function transform() {
            $out[0] = $in[1];	
        return ALL;
        }
    ]]>
</attr>

Мапинг входных данных

Атрибут inputMapping позволяет переопределить настройки шага на основе данных из входящего потока.

Параметры, которые можно переопределить в inputMapping:

• script,
• scriptURL,
• scriptCharset,
• interpreter,
• workingDirectory.

Маппинг выходных данных

outputMapping — это преобразование, которое используется для заполнения потока, передаваемого в нулевой выходной порт шага EXECUTE_SCRIPT. Этот маппинг используется для вывода данных при успешном выполнении графа.

Данные, которые шаг может подать на выход:

• std_out,
• err_out,
• exit_value,
• err_exception.

Пример. Выполнение скрипта, указанного в файле.

Нужно запустить скрипт и вывести результат его работы в файл. Для этого:

1. Поместить шаг EXECUTE_SCRIPT на рабочую панель Дизайнера.
2. Заполнить атрибуты EXECUTE_SCRIPT в редакторе шага:

function transform() {

$out[0].stdOut = $in[1].stdOut;
$out[0].errOut = $in[1].errOut;
$out[0].exitValue = $in[1].exitValue;
$out[0].errException = $in[1].errException;

return ALL;
}

3. Поместить на рабочую область шаг FLAT_FILE_WRITER.
4. Заполнить атрибуты FLAT_FILE_WRITER в редакторе шага:

5. Соединить шаги ребром с метаданными:

Используемый скрипт:

echo 'scriptURL'

После запуска графа в файл "dataout_dir/file_name.txt" запишется следующее:

Другие

Узлы этой группы служат для выполнения множества разнородных задач.

• NOTE - вставляет заметку в рабочую область графа
• DB_EXECUTE - выполняет указанный SQL-запрос к базе данных
• LIST_FILES - перечисляет содержимое каталога
• INPUT_TABLE - работает с табличными данными в виде строки
• HTTP_CONNECTOR - обращается к серверу посредством HTTP-запросов

NOTE

NOTE (примечание, заметка) - позволяют пользователю вводить необходимую информацию непосредственно в граф. Примечания могут служить документацией к конкретному графу. Также заметки могут служить контейнерами для компонентов. Если вы перемещаете заметку, вы также перемещаете компоненты внутри заметки. Если вы вводите какой-либо параметр в заметке, этот параметр не заменяется его значением. У заметок нет портов и атрибутов, так как они являются не рабочей частью графа, а только вспомогательным элементом.

Вы можете поместить заметку на граф из Списка компонентов: перетащите заметку из Списка и поместите ее в Рабочую панель.

Заметка в графе

DB_EXECUTE

DB_EXECUTE выполняет указанные SQL-инструкции для базы данных, подключенной с помощью драйвера ODBC. Он может выполнять запросы, транзакции, вызывать хранимые процедуры или функции.

Входные параметры могут быть получены через первый входной порт, а выходные параметры или набор результатов отправляются в первый выходной порт. Информация об ошибке может быть отправлена на второй выходной порт.

Порты DB_EXECUTE:

* Входной порт должен быть подключен, если указан атрибут 'inParameters' или если через входной порт принимается весь SQL-запрос.

** Выходной порт должен быть подключен, если указаны выходные параметры запроса в 'outParameters' или атрибут 'outputFields'.

Атрибуты DB_EXECUTE:

dbConnection= "postgres://${DB_USR}:${USR_PWD}@${HOST}:${PORT}/${DB_NAME}"

<Attr name="sqlQuery">
    <![CDATA[
        CREATE TABLE IF NOT EXISTS ${TABLE_NAME} (id INT,surname TEXT,name TEXT);
        TRUNCATE TABLE ${TABLE_NAME};
        SELECT * FROM ${TABLE_NAME};
    ]]> 
</Attr>

url="port:$0.script:discrete"

url="port:$0.fieldname:source"

Пример. Очистка таблицы.

Узел DB_EXECUTE можно использовать, например, для очистки таблицы перед заполнением её с помощью другого узлаа.

1. Переместите DB_EXECUTE с палитры компонентов на рабочую область дизайнера
2. Заполните его атрибуты:

Таблица services будет очищена.

LIST_FILES

LIST_FILES перечисляет содержимое каталога, включая подробную информацию об отдельных файлах, например, размер или дата модификации. Подкаталоги могут быть перечислены рекурсивно.

Порты LIST_FILES:

Атрибуты LIST_FILES:

<attr name="inputMapping">
    <![CDATA[
        function transform() {
            $out[0].fileURL = "${DATATMP_DIR}";
            return ALL;
        }
    ]]>
</attr>

<attr name="outputMapping">
    <![CDATA[
        function transform() {
            $out[0].url = $in[1].URL;
            $out[0].fileName = $in[1].name;
            $out[0].lastModified = $in[1].lastModified;
        
            return ALL;
        }
    ]]>
</attr>

INPUT_TABLE

Узел INPUT_TABLE позволяет работать с табличными данными в виде строки с разделителями.

Порты INPUT_TABLE:

Атрибуты INPUT_TABLE:

<attr name="data">
  <![CDATA[ 
    field1,field2,field3 
    field1,field2,field3
  ]]> 
</attr>

В следующем примере данные вносятся через узел INPUT_TABLE, сортируются и выводятся в треш:

<Graph>
  <Global>
    <Metadata id="meta0" fileURL="allTypes.fmt"/>
    <Metadata id="meta1" fileURL="simpleTypes.fmt"/>
  </Global>
  <Phase number="0">

    <Node id="InputTable0" guiX="300" guiY="83" guiName="input_table" type="INPUT_TABLE">
        <attr name="data"><![CDATA[
            42.12,strrrr
            56.62,strttt]]>
        </attr>
    </Node>
    <Node id="Sort0" guiX="467" guiY="83" guiName="Sort" type="EXT_SORT" sortKey="field2(a)" sortInMemory="false">
    </Node>
    <Node id="Trash0" guiX="633" guiY="83" guiName="Trash" type="TRASH" debugOutput="true">
    </Node>
    <!--<Edge id="Edge2" fromNode="DataGenerator0:0" toNode="InputTable0:0" metadata="meta1"/>-->
    <Edge id="Edge1" fromNode="InputTable0:0" toNode="Sort0:0" metadata="meta1"/>
    <Edge id="Edge0" fromNode="Sort0:0" toNode="Trash0:0" metadata="meta1"/>
  </Phase>
</Graph>

HTTP_CONNECTOR

HTTP_CONNECTOR отправляет запросы к указанному серверу и получает ответы. Ответ может быть отправлен на выходной порт или сохранён в указанном файле.

Порты HTTP_CONNECTOR:

Атрибуты HTTP_CONNECTOR:

$out[0].requestContent = $in[0].xmlConfig;

function transform() {     
$out[0].url = $in[1].url;
$out[0].requestMethod = $in[1].requestMethod;

return ALL;
}

function transform() { 
$out[0].content = $in[1].content;
$out[0].statusCode = $in[1].statusCode;
$out[0].rawHeaders = $in[1].rawHeaders;

return ALL;
}

function transform() { 
$out[1].errorMesage = $in[1].errorMesageж;

return ALL;
}

Маппинг входных данных

В атрибуте inputMapping можно указать, какие поля из входной записи следует сопоставить с атрибутами шага.

• URL — адрес, по которому будет отправлен запрос.
• requestMethod — метод, который будет использован при отправке запроса.
• additionalHttpHeaders - дополнительные заголовки запроса.
• requestContent — содержимое отправляемого запроса в виде строки.
• inputFileUrl — адрес файла, котрый нужно отправить, относительно проекта.
• outputFileURL - адрес файла в который записать ответ.
• appendOutput - применяется, если указан outputFileURL. При appendOutput=true новый ответ будет дозаписан в выходной файл без очистки файла от предыдущего содержимого.

Пример заполнения преобразования для маппинга входных данных:

function transform() { 
$out[0].requestContent = $in[1].requestContent;

return ALL;
}

Маппинг выходных данных

С помощью атрибута outputMapping на первый выходной порт можно отправить такие данные:

• Результат — предоставляет данные о результате запроса. К нему относятся:
  • content — содержимое HTTP-ответа (response body) в виде строки. Это поле будет иметь значение null, если ответ записывается в файл.
  • outputFilePath - путь к файлу, в который записан ответ. Будет null, если ответ не записывается в файл.
  • statusCode — код состояния HTTP ответа.
  • rawHeaders — заголовки (response headers) ответа.
  • errorMessage — сообщение об ошибке в случае, если вывод ошибки перенаправляется на стандартный порт вывода.

Пример заполнения преобразования для маппинга выходных данных:

function transform() { 
$out[0].content = $in[1].content;
$out[0].outputFilePath = $in[1].outputFilePath;
$out[0].statusCode = $in[1].statusCode;
$out[0].rawHeaders = $in[1].rawHeaders;
$out[0].errorMesage = $in[1].errorMesage;

return ALL;
}

Маппинг ошибок

С помощью атрибута errorMapping можно вывести сооющение об ошибке на выходной порт HTTP_CONNECTOR. Поведение очень похоже на отображение выходных данных, но данные при этом выводятся на первый выходной порт шага, вместо нулевого.

Для того, чтобы потенциальная ошибка была выведена на порт ошибки, нужно указать для атрибута redirectErrorOutput значение false. При redirectErrorOutput=true ошибка будет выведена на нулевой выходной порт, вместе с остальными выходными данными шага.

Если в ответ на запрос приходит ошибка, а errorMapping не заполнен и redirectErrorOutput=false, то граф не сможет её обработать и упадет.

Пример заполнения преобразования для маппинга ошибок:

function transform() { 
$out[1].errorMesage = $in[1].errorMesageж;

return ALL;
}

Пример 1. Скачать Web-страницу

Загрузите содержимое веб-страницы modernsolution.ru/onebridge с помощью HTTP_CONNECTOR. Сохраните результат в файл для дальнейшей обработки.

Решение

Используйте атрибуты url, requestMethod и outputFileURL.

Загруженная страница будет сохранена в файле result.html в каталоге ${DATAOUT_DIR}.

Пример 2. Получение токенов доступа для Onebridge и запуск графа с помощью HTTP_CONNECTOR

Цель данного примера - показать схему авторизации с получением токенов через api для запуска в работу графа Onebridge.

Для того чтобы запустить граф в работу, нужно быть авторизованным пользователем с набором привилегий для запуска. Предположим, все нужные привилегии пользователю выданы, осталось получить токен для авторизованной отправки запроса на запуск графа.

Чтобы получить токены, нужно отправить запрос на аутентификацию с помощью того же HTTP_CONNECTOR:

1. Переместите на рабочую область Дизайнера шаг HTTP_CONNECTOR из палитры компонентов.
2. Заполните атрибуты шага с помощью редактора шага:

function transform() {
$out[0].content = $in[1].content;
$out[0].outputFilePath = $in[1].outputFilePath;
$out[0].statusCode = $in[1].statusCode;
$out[0].rawHeaders = $in[1].rawHeaders;
$out[0].errorMessage = $in[1].errorMessage;

return ALL;
}

function transform() {
  $out[1].errorMessage = $in[1].errorMessage;

  return ALL;
}

3. Полученные токены нужно передать дальше в MAP через первый выходной порт. Для обработки ошибок заполните errorMapping и подключите ко второму выходному порту шаг TRASH.
4. В MAP можно распарсить присланный в ответе на запрос json в две отдельных переменных следующим образом:

function transform() {
  let { access_token, refresh_token } = JSON.parse($in[0].content);

  $out[0].access_token = access_token;
  $out[0].refresh_token = refresh_token;

  return ALL;
}

5. Теперь нужно отправить авторизованный запрос на запуск графа, для этого используем новый HTTP_CONNECTOR, заполнив его атрибуты следующим образом:

function transform() {
$out[0].additionalHttpHeaders = "content-type=application/json, authorization=Bearer " + $in[0].access_token;
$out[0].requestMethod = "post";
$out[0].requestContent = '{"job_file":"/ready-check/689_get_catfact.grf","params":[]}';

return ALL;
}

function transform() {
$out[0].content = $in[1].content;
$out[0].outputFilePath = $in[1].outputFilePath;
$out[0].statusCode = $in[1].statusCode;
$out[0].rawHeaders = $in[1].rawHeaders;
$out[0].errorMessage = $in[1].errorMessage;

return ALL;
}

function transform() {
  $out[1].errorMessage = $in[1].errorMessage;

  return ALL;
}

6. В случае успешного ответа на post-запрос для запуска графа должен прийти номер запущенного графа. Выведем его номер на первый выходной порт, например в файл с помощью FLAT_FILE_WRITER. Порт ошибок можно соединить с еще одним шагом TRASH.
7. Для связи между шагами нужно описать метаданные и присвоить их соответствующим рёбрам.

    <Metadata id="meta0">
      <Record fieldDelimiter="," name="content" recordDelimiter="\n" type="delimited">
        <Field name="content" type="string"/>
        <Field name="outputFilePath" type="string"/>
        <Field name="statusCode" type="integer"/>
        <Field name="rawHeaders" type="string"/>
        <Field name="errorMessage" type="string"/>
      </Record>
    </Metadata>
    <Metadata id="meta1">
      <Record fieldDelimiter="," name="tokens" recordDelimiter="\n" type="delimited">
        <Field name="access_token" type="string"/>
        <Field name="refresh_token" type="string"/>
      </Record>
    </Metadata>
    <Metadata id="meta2">
      <Record fieldDelimiter="," name="error" recordDelimiter="\n" type="delimited">
        <Field name="errorMessage" type="string"/>
      </Record>
    </Metadata>
    <Metadata id="meta3">
      <Record fieldDelimiter="," name="tokens_and_input" recordDelimiter="\n" type="delimited">
        <Field name="access_token" type="string"/>
        <Field name="refresh_token" type="string"/>
        <Field name="url" type="string"/>
        <Field name="requestMethod" type="string"/>
        <Field name="additionalHttpHeaders" type="string"/>
        <Field name="requestContent" type="string"/>
      </Record>
    </Metadata>

Граф с распределенными метаданными будет выглядеть вот так:

Распределение метаданных на рёбрах графа

После того как граф отработает, можно просмотреть содержимое ребер в датаинспекторе. В данном примере на последнем из ребер будет отображаться номер запущенного графа в поле "content".

Просмотр датаинспектора ребра отработавшего графа

Ролевая модель

Для разграничения прав пользователей в OneBridge существует система привилегий. Каждая привилегия определяет доступный с её помощью набор функциональности. Привилегии можно присвоить напрямую пользователю, а можно - сначала присвоить привилегию роли, а роль - пользователю.

Список присвоенных пользователю привилегий и ролей определяется в момент авторизации и влияет на всю текущую сессию. В зависимости от наличия выданных ролей, части интерфейса и некоторая функциональность могут быть скрыты от пользователя, не обладающего нужными для взаимодействия привилегиями.

Ниже описаны существующие привилегии, которые делятся на 7 групп.

Ресурсы

• Просмотр - доступ к информации о сервере на странице Ресурсы: использование ресурсов, производительность, данные сервера.

Проекты

• Просмотр и скачивание файлов и папок - просмотр списка проектов и их файлов в вебе и в Дизайнере, возможность скачивать данные проектов архивом.
• Создание, изменение и удаление файлов и папок - возможность создавать, переименовывать, редактировать и удалять файлы, папки и проекты.

История выполнения

• Чтение списка запусков, информации и статистики по запускам - просмотр списка запущенных графов на странице Ресурсы и на Истории выполнения.
• Чтение логов запусков - доступ ко вкладке Журнал на панели дополнительной информации на странице История выполнения в вебе и ко вкладке Log в Дизайнере.
• Чтение данных на ребрах - доступ ко вкладке Инспектор на панели доп. информации в веб приложении и к Datainspector в Дизайнере.
• Запуск и остановка графов - просмотр параметров графа, запуск графа в работу и его остановка.

Расписания

• Просмотр - просмотр списка расписаний и информации о каждом из них на странице Расписания.
• Создание, изменение и удаление - создание и модификация расписаний на соответствующей странице веб приложения, управление их статусами и удаление.

Обработчики событий

• Просмотр - просмотр списка обработчиков событий и информации о каждом из них на странице Обработчики событий.
• Создание, изменение и удаление - создание и модификация обработчиков событий на соответствующей странице веб приложения, управление их статусами и удаление.

Пользователи

• Просмотр - просмотр списка пользователей на странице Пользователи, доступ к информации о пользователях, их привилегиях и ролях.
• Создание и изменение - создание пользователя, изменение его статуса, сброс пароля, обновление привилегий и ролей на странице Пользователи в веб приложении.

Роли

• Просмотр - просмотр списка ролей на странице Роли, информации о них, списка их привилегий и списка родительских ролей.
• Создание, изменение и удаление - управление ролями на странице Роли в веб приложении: создание роли, обновление, удаление, изменение её привилегий и родительских ролей.

Маппинг привилегий и методов api

Описание всех используемых методов API приведено на странице API Onebridge

API

API OneBridge поддерживает HTTPS-протоколы. В API OneBridge используются GET-, POST-, PATCH- и DELETE-запросы.

Каждый запрос начинается с URL http://<host>, за ним следует название метода и параметры, при необходимости. Например, запрос для получения информации о запуске графа может быть записан так: http://127.0.0.1:3000/api/runs/154 или https://onebridge-dev.dev.allbridge.ru/api/runs/154. В таблицах с описанием методов будут указаны относительные пути URL-запросов.

Список API-методов системы OneBridge, доступных для вызова:

• Resources
  • get info
  • get performance
  • get utilization
• Execution
  • get job params
  • get run
  • get runs
  • get runs in progress
  • get runs inspect
  • get runs job content
  • get runs log
  • get runs num
  • get run position
  • get run stats
  • post runs
  • post runs abort
  • post encrypt
• Projects
  • get tree
  • get project
  • get directory
  • get file
  • get download folder
  • post project
  • post project rename
  • post directory
  • post directory rename
  • post file
  • post file rename
  • patch file
  • delete project
  • delete directory
  • delete file
• Schedules
  • get schedule by id
  • get schedules
  • get schedules num
  • get schedules position
  • post schedules
  • post toggle schedule
  • patch schedules
  • delete schedules
• Event listeners
  • get event listener by id
  • get event listeners
  • get event listener position
  • get event listeners num
  • post event listeners
  • post toggle event listeners
  • patch event listeners
  • delete event listeners
• Auth
  • login
  • logout
  • refresh
  • change password
• Users
  • post user
  • post toggle user status
  • post reset user password
  • patch user
  • get user
  • get users
• Roles
  • get roles
  • get role
  • post role
  • patch role
  • delete role
  • get privileges
  • get role privilegies
  • patch role privilegies
  • get role subroles
  • patch role subroles
  • get user roles
  • patch user roles
  • get user privileges
  • patch user privileges
• get version