Исследование и разработка методологии создания баз пространственных метаданных
На правах рукописи
РЕБРИЙ АЛЕКСАНДР ВАЛЕРЬЕВИЧ
ИССЛЕДОВАНИЕ И РАЗРАБОТКА МЕТОДОЛОГИИ СОЗДАНИЯ БАЗ ПРОСТРАНСТВЕННЫХ МЕТАДАННЫХ
Специальность 25.00.35 – «Геоинформатика»
Автореферат
диссертации на соискание ученой степени
кандидата технических наук
Москва – 2012
Работа выполнена на кафедре информационно-измерительных систем Федерального государственного бюджетного образовательного учреждения высшего профессионального образования Московского государственного университета геодезии и картографии (МИИГАиК).
Научный руководитель: доктор технических наук, профессор Майоров Андрей Александрович.
Официальные оппоненты:
Цветков Виктор Яковлевич – доктор технических наук, профессор, кафедра экономики и предпринимательства Федерального государственного бюджетного образовательного учреждения высшего профессионального образования Московского государственного университета геодезии и картографии (МИИГАиК).
Бровко Елена Алексеевна - кандидат технических наук, ученый секретарь, начальник сектора научно-технической информации ФГУП Государственный научно-исследовательский и производственный центр «Природа»
(ФГУП «Госцентр Природа»).
Ведущая организация: ФГУП Уральский региональный информационно–аналитический центр «Уралгеоинформ» (ФГУП Уралгеоинформ»).
Защита состоится «14» июня 2012 года, в 10.00 на заседании диссертационного совета Д 212.143.03 при Московском государственном университете геодезии и картографии по адресу: 105064, Москва, Гороховский пер., д. 4, зал заседаний Ученого совета.
С диссертацией можно ознакомиться в библиотеке МИИГАиК.
Автореферат разослан «12» мая 2012 г.
Ученый секретарь
диссертационного совета Климков Юрий Михайлович.
Общая характеристика работы
Актуальность темы.
Пространственные данные в современных условиях являются важнейшим, уникальным, а в некоторых случаях и единственным фактором реализации задач управления и развития территории страны, обеспечения ее обороноспособности, устойчивого политического, экономического и социального развития. Во всем мире объемы накапливаемых, обрабатываемых и используемых пространственных данных возрастают, расширяется номенклатура продукции и услуг, основанных на пространственно-привязанной информации.
В США, Канаде, Дании, Германии, Великобритании, Китае и многих других странах задачи накопления, хранения, обработки и использования пространственных данных решаются в рамках правительственных программ в целях создания инфраструктур пространственных данных (ИПД).
В 2006 году Правительством Российской Федерации была принята «Концепция создания и развития инфраструктуры пространственных данных в Российской Федерации» (№ 1157-р от 21.08.2006), определяющая основные цели, задачи и этапы формирования ИПД. В концепции, наряду с другими положениями, отражена важность и необходимость создания и использования метаданных в целях исключения дублирования работ по созданию пространственных данных, повышения качества и эффективности управления на государственном и муниципальном уровнях, создания Государственных информационных ресурсов, стимулирования рынка пространственных данных и т.д.
На сегодняшний день в Российской Федерации отсутствуют доступные информационные ресурсы, отражающие наличие и характеристики различных пространственных данных на территорию страны. Огромное количество пространственных данных Федерального картографо-геодезического фонда (ФКГФ) имеют ограниченное распространение на рынке Российской Федерации, в том числе по причине отсутствия опубликованных и доступных метаданных.
Цель диссертационной работы состоит в разработке методологии формирования, накопления, обработки и публикации в сети интернет метаданных пространственных данных (пространственных метаданных) в составе информационных ресурсов, образующих основу для формирования инфраструктуры пространственных данных в Российской Федерации.
Достижение поставленной цели потребовало решения следующих основных задач:
- Исследование и анализ отечественного и зарубежного опыта в сфере формирования, накопления и распространения метаданных;
- Проведение сравнительного анализа способов и технологий работы с метаданными в различных ГИС средах;
- Разработка универсальной функциональной схемы формирования и ведения базы метаданных пространственных данных;
- Разработка концептуальной и логической структуры базы метаданных;
- Разработка алгоритмов и методики работы с базой метаданных через сеть Интернет.
Научная новизна работы заключается в следующем:
- Разработана логическая структура базы метаданных пространственных данных,
- Разработана организационно-функциональная схема формирования и ведения базы метаданных,
- Разработаны алгоритмы формирования и ведения базы метаданных.
Используемые методы исследования включают в себя анализ, моделирование, экспериментальный и проектный методы. В ходе работы выполнялся анализ методических, нормативно-правовых и нормативно-технических документов в сфере геоинформатики.
Информационную основу работы составляют результаты научно-исследовательских, опытно-конструкторских работ, результаты проведённых экспериментов и исследований по теме диссертационной работы. В работе использовались материалы отраслевых, региональных научно-практических конференций с представителями картографо-геодезических служб ряда стран Европы и СНГ.
Практическая значимость работы состоит в выработке системы научно-практических рекомендаций, типовых проектных решений, обеспечивающих эффективное решение задач сбора, накопления и распространения метаданных и позволяющих приступить к формированию информационных ресурсов - баз метаданных, предназначенных для формирования ИПД.
Результаты исследования были апробированы в научной и производственной деятельности ФГУП «ГОСГИСЦЕНТР», доложены и одобрены на научно-практических конференциях, семинарах и совещаниях.
По теме диссертации опубликовано 13 работ, в том числе 6 в журналах, рекомендованных ВАК.
Автор непосредственно принимал участие в разработке стандарта
ГОСТ Р «Географическая информация. Метаданные», а также являлся руководителем проектов отраслевого и федерального значения, в которых на практике использовались представленные в диссертации методики и проектные решения.
Основные результаты работы, выносимые на защиту:
- Организационно-функциональная схема формирования и ведения базы метаданных.
- Логическая структура базы метаданных.
- Алгоритмы обработки метаданных при формировании базы метаданных и ее публикации в сети интернет.
Объем и структура работы.
Диссертация состоит из четырех глав, заключения и списка литературы, а также одного приложения. Работа изложена на 117 страницах, включая
39 рисунков и 39 таблиц. Список используемой литературы включает 64 наименования.
Основное содержание работы.
ГЛАВА 1. Анализ состояния проблемы сбора, накопления, обработки и распространения пространственных метаданных содержит определение и обоснование значимой роли метаданных в процессах создания, сбора, накопления, обработки и распространения пространственных данных различного характера.
Доступность, полнота, достоверность и непротиворечивость метаданных позволяет потенциальному потребителю пространственных данных оценить их пригодность для использования в целях решения задач прикладного характера.
Учитывая колоссальные объемы создаваемых пространственных данных, применение единых подходов и методик формирования метаданных позволяет минимизировать информационные потери в процессе передачи информации, а также открывает новые возможности по интеграции метаданных и их совместной обработке.
На сегодняшний день в этом направлении имеются существенные достижения, особенно в зарубежных странах в рамках создания национальных ИПД. В Российской Федерации наблюдается серьезное отставание в вопросах формирования единой политики по работе с пространственными данными. В процессах производства, накопления и распространения пространственных данных, создание и использование метаданных не является обязательным. На этот счет отсутствуют нормативно-технические и методические документы. Современные отечественные геоинформационные программные продукты (ГИС) не поддерживают международные стандарты на представление метаданных.
Разработанная в 2001 г. база метаданных для сбора, хранения и учета метаданных Федерального картографо-геодезического фонда (ФКГФ) морально и технически устарела, не соответствует современным стандартам и не позволяет эффективно решать стоящие на сегодняшний день задачи.
В связи с этим представляется необходимым:
- Разработать и предложить к использованию методики и алгоритмы формирования и ведения базы метаданных пространственных данных;
- Разработать концептуальную и логическую структуру базы метаданных;
- Разработать методику работы с базой метаданных в целях использования базы метаданных при формировании инфраструктуры пространственных данных.
ГЛАВА 2. Разработка логической структуры базы метаданных.
В этой главе описан процесс разработки логической структуры базы метаданных, основанный на использовании международной практики, и с учетом современных требований, предъявляемым к функциям и задачам базы метаданных (рис.1).
Рис. 1. Описание метаданных в виде набора пакетов, сущностей и элементов.
Международная практика формирования и представления метаданных основывается на применении формализованных методик описания метаданных при помощи языка UML.
В соответствие с методикой международной организации по стандартизации ISO, структура метаданных представлена в виде отдельных блоков - UML пакетов. Каждый пакет состоит из сущностей, имеет определенное смысловое наполнение и характеризует тот или иной аспект метаданных (рис. 2).
Рис. 2. Концептуальная схема базы метаданных.
На основе проведенного анализа применяемого в международной практике подхода, была разработана концептуальная схема базы метаданных, представляющая собой набор взаимосвязанных сущностей, определяющая связи между ними и описывающая основные элементы их содержания.
Далее, на основе созданной концептуальной модели, выполнено логическое проектирование структуры базы метаданных, в ходе которого, сущности, указанные на концептуальной схеме, преобразованы в таблицы базы данных (рис. 3).
Рис.3. Логическая схема базы метаданных.
Характеристики сущностей на логической схеме представляют собой поля таблиц базы данных с указанием ключевых полей, типа хранимых данных, а также обязательности или необязательности их заполнения.
Разработанная на основе концептуальной модели логическая структура базы метаданных отвечает требованиям стандарта ГОСТ Р 52573-2006 «Географическая информация. Метаданные», совместима со стандартом ISO 19115 «Географическая информация. Метаданные» и позволяет перейти к созданию (физическому проектированию) базы метаданных на любой программной платформе.
ГЛАВА 3. Разработка методики и алгоритмов формирования и ведения базы метаданных. В этой главе содержится описание процесса разработки унифицированного подхода к решению задачи формирования и ведения базы метаданных в свете формирования инфраструктуры пространственных данных (ИПД).
За основу разработки организационно-функциональной схемы формирования и ведения базы метаданных взят абстрактный социум - административно-территориальная единица, отрасль, корпорация и т.п., а также приняты следующие положения:
- в социуме существует базы разнородных по составу и структуре пространственных данных,
- информационные системы, обрабатывающие (содержащие) пространственные данные, не совместимы друг с другом,
- переход на единую технологию создания, хранения и публикации пространственных данных в ближайшей перспективе невозможен.
В общем случае именно так выглядит ситуация в части создания ИПД в Российской Федерации.
В виду того, что работы по сбору, накоплению, обработке и публикации метаданных имеют критически важное значение для формирования ИПД, предлагается возложить эти задачи на уполномоченную организацию - «провайдер» (рис.4).
Рис.4. Принципиальная схема формирования базы метаданных.
Для описания процесса формирования и ведения базы метаданных, а также для определения основных функций участников этого процесса, разработана следующая организационно-функциональная модель (рис.5).
Рис. 5. Организационно-функциональная модель.
В целях формирования метаданных и их передаче к провайдеру, поставщик пространственных данных выполняет работы по формированию метаданных по следующему алгоритму (рис.6).
Рис.6. Алгоритм формирования метаданных изготовителем.
Автоматизация процессов формирования метаданных играет важнейшую роль при обработке больших массивов пространственных данных с целью формирования баз метаданных. В случаях, когда объемы единиц хранения пространственных данных достигают десятков и сотен тысяч (кадастровая информация, цифровые топографические карты, данные дистанционного зондирования и т.п.), формирование и ведение баз метаданных вручную является практически невыполнимой задачей.
После получения метаданных, перед их загрузкой в базу метаданных провайдера, необходимо выполнить проверку целостности и качества метаданных по следующему алгоритму (рис.7):
Рис. 7. Алгоритм обработки метаданных на стороне провайдера.
В виду того, что все метаданные имеют пространственную привязку, интернет-сайт с опубликованной базой метаданных должен предоставлять инструментарий для поиска метаданных как по заданным характеристикам (атрибутам), так и посредством интерактивной карты местности.
Для взаимодействия с базой метаданных посредством интернет-сайта предлагается использовать следующий алгоритм (рис.8):
Рис. 8. Общий алгоритм работы с базой метаданных в интернете.
В целях формирования логики работы программного обеспечения и проектирования пользовательского интерфейса базы метаданных в сети интернет, определены основные виды запросов к базе метаданных, а именно:
Виды запросов по карте:
- Найти пространственные данные в районе указанной точки на карте,
- Найти данные вдоль линии заданной на карте,
- Найти данные внутри заданного полигона (прямоугольника) на карте.
Виды запросов по базе метаданных:
- Найти пространственные данные на территорию административно-территориальной единицы,
- Найти данные по выбранному значению,
- Найти данные по заданному условию, накладываемому на значения.
Алгоритм обработки запросов представлен на рис.9.
Результатом обработки всех запросов является выдача перечня метаданных, удовлетворяющих условиям запроса.
Рис. 9. Алгоритм работы с базой метаданных в сети интернет.
В целях реализации созданных алгоритмов формирования и ведения базы метаданных необходимо выбрать формат представления и обмена метаданными, который имеет широкое распространение, универсален и не зависит от используемой программной платформы. В качестве такого формата выбран формат XML.
В разработанных алгоритмах работы с базой метаданных через сеть интернет в качестве пользователя фигурирует человек, напрямую взаимодействующий через пользовательский интерфейс с содержимым базы метаданных.
В случае, когда требуется интегрировать информацию из базы метаданных в пользовательские программные продукты, предлагается использовать технологию веб-сервисов, чтобы потребители могли получать метаданные в режиме «он-лайн» и встраивать их в прикладные программы.
Интерфейсный модуль веб-сервиса для доступа к базе метаданных публикуется провайдером в виде WSDL-файла. Этот файл загружается разработчиками в среду разработки приложений и затем преобразуется в используемый язык программирования (рис.10). Это позволяет тесно интегрировать опубликованные через веб-сервис метаданные в пользовательские бизнес-процессы.
Рис. 10. Интеграция веб-сервиса метаданных в пользовательскую информационную систему.
ГЛАВА 4. Результаты практического внедрения методологии формирования и ведения базы метаданных. В этой главе приведены результаты практического внедрения разработанных в главах 2 – 3 алгоритмов и структур данных в рамках решения задачи по созданию и ведению базы метаданных цифровых топографических карт Федерального картографо-геодезического фонда.
В рамках практической реализации разработанной методологии были созданы следующие программные продукты:
- Программная оболочка автоматизированного формирования метаданных цифровых топографических карт формата SXF,
- База метаданных ФКГФ,
- Действующий макет интернет-сайта базы метаданных,
В целях автоматизации и унификации процесса формирования метаданных у поставщиков метаданных (изготовителей картографической продукции) была разработана автоматизированная технология (рис.11), позволяющая решать следующие задачи:
- Считывать метаданные из паспорта файла цифровой карты формата SXF,
- Загружать метаданные в доступном для чтения и редактирования виде в программную оболочку,
- Выполнять выгрузку метаданных в обменный формат XML для последующей передачи в организацию-фондодержатель (провайдер).
Рис. 11. Окно программной оболочки для создания метаданных листа карты в формате SXF.
В целях автоматизации процессов формирования и ведения базы метаданных цифровых карт была разработан программный комплекс (рис.12) «База метаданных ФКГФ» (далее - БМД).
БМД состоит из совокупности взаимосвязанных подсистем, обеспечивающих унификацию, документирование, контроль всех этапов жизненного цикла листов цифровых карт: от создания – до выдачи потребителям.
Основными внешними пользователями БМД являются:
- потребители, получающие сведения об имеющихся в ФКГФ цифровых картах и их характеристиках,
- центральный аппарат Росреестра, получающий сведения статистического и аналитического характера по всем этапам формирования и ведения ФКГФ.
Рис.12. Окно работы с метаданными.
Программное обеспечение БМД разработано в соответствии с архитектурой «клиент-сервер» и предназначено для функционирования, как на отдельном компьютере, так и в локальных вычислительных сетях (ЛВС).
Выборка информации из БМД осуществляется путем формирования запроса с наложением условий на любые характеристики метаданных. Результат выполнения запроса представляется в табличном виде (рис. 13) и может быть выгружен в форматы HTML или XML для дальнейшей обработки.
Рис. 13. Результат запроса к базе метаданных через интернет-сайт.
В целях решения задачи публикации метаданных в сети интернет, на основе алгоритмов, разработанных в главе 3, был создан действующий макет интернет-сайта, основной задачей которого является информирование потенциальных потребителей о наличии в Федеральном картографо-геодезическом фонде (ФКГФ) цифровых карт различных масштабов, предоставление информации об их качестве и способе приобретения.
На интернет-сайте публикуются метаданные на каждый номенклатурный лист цифровой топографической карты открытого пользования, помещенной в ФКГФ. В соответствии с методикой, описанной в главе 3, для удобства работы с базой метаданных используется цифровая векторная карта (рис.14) Российской Федерации масштаба 1:1 000 000.
В соответствии с разработанными в главе 3 алгоритмами, для удобства пользования сайтом, запросы к базе метаданных сгруппированы по типам и отнесены к различным интерфейсным компонентам интернет-сайта.
Разработанный интернет-сайт базы метаданных доступен по адресу http://maps.ggc.ru в сети интернет.
Рис.14. Фрагмент бланковой карты на интернет-сайте базы метаданных.
В целях анализа эффективности разработанных алгоритмов, методик, структур данных, было проведено нагрузочное тестирование интернет-сайта базы метаданных с целью наблюдения за показателями производительности системы при определенной нагрузке. Результаты тестирования отражают: количество просмотров (запросов к базе метаданных), количество уникальных посетителей сайта и время, потраченное посетителями сайта на работу с базой метаданных.
Рис.15. Количество просмотров
Анализ результатов тестирования (рис.15) показывает, что в среднем количество просмотров (запросов) в минуту за период тестирования,
равно 400, при этом нагрузка не процессор системы составляла не
более 15 %. За время тестирования не было зафиксировано ни одного отказа и существенных задержек в работе базы метаданных не наблюдалось.
Практическая реализация алгоритмов и методик формирования, ведения и публикации базы метаданных, разработанных в Главе 3, показала их работоспособность, а также позволила:
- автоматизировать и унифицировать процессы сбора метаданных цифровых топографических карт ФКГФ,
- повысить эффективность централизованного формирования и ведения базы метаданных цифровых карт ФКГФ,
- выполнить публикацию метаданных в сети интернет, доведя информацию до потенциальных потребителей цифровой картографической продукции.
Заключение.
В диссертационной работе выполнен анализ и обзор основных проблем создания и использования метаданных пространственных данных в Российской Федерации, определены сферы применения метаданных, указана и обоснована необходимость их использования в целях создания Государственных информационных ресурсов и формирования инфраструктуры пространственных данных.
На основе анализа имеющейся международной практики, выполнено концептуальное и логическое проектирование, результатом которого является структура базы метаданных.
Предложены и проработаны с точки зрения формализации и оптимизации алгоритмы и организационно-функциональные схемы создания и наполнения баз метаданных.
Разработанная методология формирования баз пространственных метаданных представляет собой совокупность алгоритмов, структур данных, и сценариев их совместного использования в целях решения задач сбора, накопления и публикации пространственных метаданных.
Результаты практического внедрения разработанной методологии показывают ее работоспособность, эффективность и основаны на ее использовании в работах по созданию и обновлению цифровых топографических карт различного вида в рамках реализации ФЦП «ГЛОНАСС» в 2009 – 2011 г.
Список опубликованных работ по теме диссертации:
- Плешков В.Г., Ребрий А.В., Степанова Я.В. «Национальные атласы зарубежных стран». // Геодезия и картография. 2004. № 11.
- Плешков В.Г., Ребрий А.В., Степанова Я.В. «О концепции создания электронной версии Национального атласа России».
// Геодезия и картография. 2004. № 12. - Плешков В.Г., Ребрий А.В., Степанова Я.В. «Инфраструктура пространственных данных – архитектура, ориентированная на сервисы».
// Геодезия и картография. 2005. № 5. - Плешков В.Г., Ребрий А.В. «Роль международных стандартов в создании инфраструктуры пространственных данных». // Тез. докл. Международный конгресс «Великие реки 2004» 18-21 мая 2004г. Нижний Новгород 2004.
- Плешков В.Г., Ребрий А.В. «Электронная версия Национального атласа России как фундаментальное картографическое произведение».// Тез. докл. Международный конгресс «Великие реки 2005» 17-20 мая 2005г.
Нижний Новгород 2005. - Плешков В.Г., Ребрий А.В. «О создании цифровой картографической продукции для систем навигации». // Геодезия и картография. 2006. № 4.
- Плешков В.Г., Ребрий А.В. «О создании геоинформационной системы органов государственной власти Республики Татарстан».
// Геодезия и картография. 2006. № 7. - Ребрий А.В. «О создании цифровой картографической продукции для решения задач навигации и диспетчеризации». // Автоматизированные технологии изысканий и проектирования. № 1 (28) 2008 г.
- Ребрий А.В. «О новой технологии формирования базы метаданных Федерального картографо-геодезического фонда»
// Геодезия и картография. 2008. № 5. - Ребрий А.В. «О создании и развитии отраслевого картографического портала».// Геодезия и картография. 2009. №4.
- Ребрий А.В. «О ходе работ по созданию интернет-портала Федерального картографо-геодезического фонда». // Тез. докл. Международный конгресс «Великие реки 2009» Нижний Новгород 2009.
- Плешков В.Г., Ребрий А.В. «Разработка картографического Интернет-портала Федерального картографо-геодезического фонда». // Геопрофи № 4, 2009 г.
- Плешков В.Г., Ребрий А.В. «Создание и развитие картографического портала Федерального картографо-геодезического фонда». // Пространственные данные № 3, 2009 г.
