GeoKettle¶
Извлечение, преобразование и загрузка данных (ETL)¶
GeoKettle — это версия Pentaho Data Integration (известного как Kettle), поддерживающая пространственные данные. Это мощный инструмент, использующий пространственные метаданные ETL (Extract, Transform and Load), предназначенный для интеграции различных источников данных при создании и обновлении пространственных БД, хранилищ данных и сервисов.
GeoKettle позволяет извлекать данные из исходного источника, чистить их, исправлять в них ошибки, изменять структуру данных, приводить данные в совместимый вид согласно выбранным стандартам и загружать подготовленные данные в целевые БД, ГИС-файлы или на пространственные сервисы. GeoKettle полезен для автоматизации сложных и повторяющихся задач обработки данных без написания специального кода, конвертирования форматов, миграции между базами данных и т.д.
Geokettle сравнивают с FME, проприетарным ETL-инструментом. GeoKettle стабилен, быстр, поддерживает множество стандартов и чтение/запись и обработку сотен различных форматов данных, сервисов и баз данных. GeoKettle используется различными организациями по всему миру, включая правительственные структуры, банки, страховые компании и системы интеграции пространственных данных.
Базовые функции¶
- Извлечение данных из:
- более чем 35 типов БД: MySQL, PostgreSQL/PostGIS, Oracle, ...
- XML-файлов
- XLS-файлов
- Xbase-файлов (dBase, Foxpro, и т.д.)
- File systems information
- Generated data
- MS Access файлов
- LDAP
- SOLAP (Spatial OLAP) систем: GeoMondrian
- Пространственных форматов данных: Shapefile, GML 3.1.1, KML 2.2, всех совместимых с OGR форматов
- OGC веб-сервисов: Web Feature Service (WFS), Sensor Observation Service (SOS), Catalogue Web Service (CSW)
- Преобразование данных:
- Преобразование данных, основанное на движке (нет генератора кода)
- Поиск данных в БД, файлах или памяти
- Произведение расчётов
- Написание скриптов: Javascript, SQL, RegExp
- Разделение
- Картирование
- Отбор
- Разбиение
- Фильтрация
- Объединение
- Присоединение
- Дублирование
- Кластеризация (MPP)
- Привязка
- Анализ пространственных данных: буфера, центроиды, дистанции, пересечения, объединения ...
- Геопроцессинг: вырезание, преобразование Делоне, упрощение/сглаживание геометрии, разбиение объектов, ...
- Пространственное объединение
- Предварительный просмотр карты
- Загрузка данных в целевые форматы:
- Базы данных: MySQL, PostgreSQL/PostGIS, Oracle, ...
- Хранилища данных
- Форматы пространственных данных: Shapefile, GML 3.1.1, KML 2.2, все совместимые с OGR форматы
- OGC веб-сервисы: Catalogue Web Service (CSW), ...
- Частичные загрузки
- Массовые загрузки
- Параллельные загрузки
- Кластеризация
- Среды:
- Пользовательский интерфейс “Spoon” для управления настройками преобразований
- Инструменты командной строки: процессы и преобразования
- Веб-сервер: удаленные вычисления и кластеризация и облачные вычисления для больших наборов данных
- API для Java
- Система расширений
Реализованные стандарты¶
- Совместимость со стандартами OGC (SFS, CSW, SOS).
Дополнительная информация¶
Веб-сайт: http://www.geokettle.org/
Лицензия: LGPL version 2.1 http://www.gnu.org/copyleft/lesser.html
Версия ПО: 2.6
Поддерживаемые платформы: Windows, Linux, Mac, Solaris
Интерфейсы API: Java, Javascript
Поддержка: http://www.spatialytics.org & http://www.spatialytics.com