Начало работы с GeoKettle¶
GeoKettle — мощный инструмент, использующий пространственные метаданные ETL (Extract, Transform and Load), предназначенный для интеграции различных источников данных при создании и обновлении пространственных БД, хранилищ данных и сервисов. GeoKettle даёт возможность делать выборку необходимых данных из различных источников, преобразовывать, тестировать на ошибки, редактировать, изменять структуру данных, делать их совместимыми с заданными стандартами, загружать в другие ГИС-системы, использовать в веб-сервисах.
В данном “введении” рассказывается о том, как:
- Загрузить готовое преобразование
- Создать свой собственный файл преобразований
Запуск GeoKettle¶
- Зайдите в папку на Рабочем столе
- Подождите, пока приложение запустится.
- Откроется окошко, в котором вам будет предложено заполнить поля. Введите название репозитория или же просто нажмите кнопку “No repository”, чтобы использовать примеры GeoKettle’s
Рабочее окно¶
Стандартное окно выглядит так, как на картинке ниже. Оно состоит из нескольких панелей.
В левой части находится панель, в которой затем будет последовательный список всех этапов преобразования данных. Правая часть окна — панель для пространственного редактирования структуры преобразования и её отладки.
Содержание этих панелей будет описано чуть ниже.
Загрузка готового преобразования¶
Чтобы загрузить уже готовое преобразование, зайдите в . Выберите пример преобразования из подпапки “subdirectory” /opt/geokettle/samples/transformations/geokettle, выберите любой из доступных файлов преобразований и кликните на OK. Файлы преобразований GeoKettle имеют расширение *.ktr.
В нашем случае был выбран файл преобразования « intersection ». Теперь содержание обеих панелей рабочего окна изменилось.
В жёлтом прямоугольнике вы можете увидеть детальное описание преобразований.
Перед тем как запустить преобразование, необходимо указать shp-файлы, которые вы хотели бы преобразовать. Чтобы указать файлы, нужно последовательно кликнуть двойным щелчком на каждом из файлов « GIS file input » . Появится вот такое окошко.
Введите имя файла с расширением *.shp, или же выберите какой-нибудь из примеров GeoKettle /opt/geokettle/samples/transformations/geokettle/files, нажмите OK.
Таким образом, всё готово к запуску преобразования. Теперь достаточно просто нажать на кнопку play сверху на панели инструментов.
Создание нового файла преобразований¶
Запустите GeoKettle точно так же, как и в предыдущий раз.
Чтобы создать новый файл преобразований, нажмите . Придумайте файлу название и сохраните ().
Как видно на картинке, все доступные этапы перечислены и разбиты на категории в левой части окна. Разверните какую-нибудь категорию, чтоб увидеть списки доступных этапов.
Чтобы добавить новый этап в преобразование, перетащите его из панели Steps на панель transformation. Затем вы можете настроить этап, дважды кликнув на нём.
Хопы
Хоп всегда находится между двумя этапами, определяя потоковое направление между ними. Как видно по картинке, добавленый хоп из Table Input в Add sequence означает, что результат из этапа Table Input будет отправлен на этап Add sequence для дальнейшей обработки и т.д.
Чтобы создать новый хоп, выделите два этапа, затем правый клик на одном из них, затем . Есть ещё один способ сделать то же самое. Удерживайте клавишу Ctrl пока выделяете оба этапа.
Любой хоп можно всегда отредактировать двойным кликом на нём или же правым кликом, затем выбрав в контекстном меню.
Настройка преобразования
Большинство из этапов преобразования требуют пользовательской настройки. При двойном клике на любом из этапов запустится диалог, в котором вы можете установить множество параметров и задать им значения.
Запуск преобразования
Во время выполнения преобразования появится ещё одна панель, в которой будет отображаться ход процесса. Эта панель ( Execution Results ) содержит в себе информацию обо всех этапах преобразования в разных вкладках.
Вкладка Step Metrics (показана на следующей картинке). Здесь можно увидеть основную информацию: сколько этапов выполнено, сколько ещё планируется и т.п. Каждая строка описывает один из этапов. Колонка Active информирует пользователя о состоянии этапа (старт/в процесее/закончен/прерван и т.п.). Время, затраченное на каждый этап можно посмотреть в колонке Time, а скорость — в колонке Speed, измеряется в строках/секунду.
Preview
Если попытка запустить преобразование закончилось ошибкой, то появляется панель Execution Results (следующая картинка). Посмотрите содержимое колонки Logging. Там всегда много полезной информации касательно источника ошибки. Поправьте параметры некорректного этапа преобразования и запустите его снова.
Чтобы найти ошибку, вы также можете посмотреть результаты перехода от одного этапа к другому. Для этого кликните правой кнопкой на этапе и в контекстном меню выберите . Таким образом, вы можете увидеть кусочек данных в табличном виде или в виде карты, не загружая данные целиком.
Что ещё посмотреть?¶
Вот некоторые интересные задачи:
- Познакомьтесь со всем разнообразием этапов, которые предлагает GeoKettle
- Попробуйте отладчик GeoKettle для поиска ошибок в преобразовании
- Попробуйте создать преобразование для своих собственных данных