1. Описание OneBridge
  2. Установка и активация
  3. Глоссарий
  4. Дизайнер
    ❱
    1. Проекты
    2. Создание графов
    3. Выполнение графов
  5. Панель администрирования
    ❱
    1. Ресурсы
    2. История выполнения
    3. Проекты
    4. Расписания
    5. Обработчики событий
    6. Пользователи
    7. Роли
  6. Сервер OneBridge
    ❱
    1. Графы
      ❱
      1. Шаги
      2. Рёбра
      3. Метаданные
        ❱
        1. Формат даты и времени
      4. Разделители
      5. Соединения с базами данных
      6. Параметры
      7. Словарь
      8. Преобразование данных
      9. Хэш-таблицы
    2. Алгоритмы обработки данных
      ❱
      1. Для чтения данных
        ❱
        1. FLAT_FILE_READER
        2. RAW_READER
        3. LOOKUP_TABLE_READER
        4. DATABASE_READER
        5. DATA_GENERATOR
        6. SPREADSHEET_READER
        7. INPUT_TABLE
        8. CSV_READER
      2. Для записи данных
        ❱
        1. FLAT_FILE_WRITER
        2. RAW_WRITER
        3. LOOKUP_TABLE_WRITER
        4. DATABASE_WRITER
        5. POSTGRESQL_DATA_WRITER
        6. TRASH
      3. Для преобразования данных
        ❱
        1. EXT_SORT
        2. EXT_FILTER
        3. GATHER
        4. SIMPLE_COPY
        5. MAP
        6. ROLLUP
        7. CONCATENATE
        8. NORMALIZER
        9. AGGREGATE
        10. DEDUP
      4. Для объединения данных
        ❱
        1. HASH_JOIN
        2. MERGE_JOIN
        3. CROSS_JOIN
        4. DBJOIN
        5. DATA_INTERSECTION
      5. Для управления данными
        ❱
        1. EXECUTE_GRAPH
        2. GET_JOB_INPUT
        3. SET_JOB_OUTPUT
        4. SUCCESS
        5. FAIL
        6. EXECUTE_SCRIPT
      6. Другие
        ❱
        1. NOTE
        2. DB_EXECUTE
        3. LIST_FILES
        4. INPUT_TABLE
        5. HTTP_CONNECTOR
  7. Права доступа
  8. API OneBridge
  9. Версии OneBridge
  10. Выпущенные версии
  11. Дорожная карта
  12. Быстрый старт
  13. Пример 1. Работа с простыми файлами, преобразование, запись данных в базу. Автоматизация запуска графа.
  14. Пример 2. Работа с Excel, простое преобразование данных

OneBridge Documentation

Для преобразования данных

Преобразователи — это промежуточные шаги графа. Преобразователи получают данные через подключенные входные порты, обрабатывают их указанным пользователем способом и отправляют через подключенные выходные порты в следующие шаги.

Список шагов-преобразователей данных:

  • EXT_SORT - сортирует записи.
  • FILTER - фильтрует записи.
  • GATHER - собирает записи из разных потоков в один. Порядок выходных записей непредсказуем.
  • SIMPLE_COPY - копирует записи.
  • MAP - пользовательский алгоритм обработки.
  • ROLLUP - создает записи с помощью преобразования.
  • CONCATENATE - объединяет записи.
  • NORMALIZER - создает одну или несколько выходных записей из каждой входной записи.
  • AGGREGATE - вычисляет статистическую информацию о входных данных.
  • DEDUP - устраняет копии по ключу.