Математико-механический факультет Кафедра системного программирования Поддержка структурных изменений в процессах загрузки данных

Оглавление 3

Введение 5

Постановка задачи 7

1.Обзор средств и подходов. 8

1.1 Обзор существующих решений. 8

Microsoft SQL Server Integration Services 8

Oracle Warehouse Builder 9

Pentaho Data Integration 9

1.2 Описание метода для проектирования ETL-процесса 11

Понятие онтологии 11

1.2.1 Реализация грамматики для проектирования ETL процесса 13

Подграф “Схема данных” 13

Подграф «Онтология» 13

Аннотация ХД 14

Операции ETL 14

Преобразования графа 14

Простые операции 17

Составные операции 20

Дополнительные правила 22

Организация системы слоев 23

2. Описание решения 24

2.1 Теоретическая часть 24

Классификация структурных изменений в источниках данных 24

Удаление именованных/неименованных столбцов 24

Изменение порядка столбцов 25

Переименование столбцов 25

Изменение формата данных 25

Изменения, связанные с каталогами 26

Разделение/соединение столбцов 26

2.1.2 Разработка метода диагностики структурных изменений в источниках данных 27

2.1.3 Расширение существующей модели эволюционными правилами 28

2.2 Практическая часть 30

2.2.1 Особенности архитектуры 30

Описание плагина к Kettle 30

Отображение данных на онтологию предметной области 30

Описание промежуточного формата данных 31

Построение модели процесса в виде графа 32

Сопоставление операций из модели трансформациям Kettle 32

Составление онтологии 34

Исследование необходимости поддержки структурных изменений в источниках данных 35

Заключение 37

Литература 38

Приложение 1. Онтология сокращенная Weather_Ontology.owl 40

Приложение 2. Фрагмент исходного файла с данными по температуре. 45

Приложение 3. Фрагмент измененного файла с данными по температуре. 47