Решение задач консолидации и управления данными на примере системы управления данными Geobank
Информация — основа производственной деятельности
Первичные рабочие данные — это важнейший стратегический ресурс любого горно-геологического предприятия, фундамент, рождающий информацию, необходимую при планировании работ, моделировании месторождений, а также принятии оперативных решений в ходе разведки и отработки месторождений.
Одна из главных задач, стоящих перед менеджментом предприятия, это построение единой базы данных (ЕБД), информация из которой отвечает таким показателям качества как достаточность, доступность, своевременность, устойчивость, точность, достоверность, актуальность, защищенность и ценность.
Система управления данными
Деятельность любого предприятия складывается из взаимодействия между его службами (отделами), в основе которого лежит обмен информацией. Информационные потоки современного предприятия исходят из различных источников (маркшейдерские съемки, полевая геология, данные о результатах лабораторных исследований, данные по эксплуатации блоков и пр.), имеют свою периодичность поступления, коэффициент достоверности (не исключены опечатки и прочий шум, вызванный человеческим фактором), формат представления и объем данных. Эффективность обработки информации во многом определяет успех предприятия.
Компания MICROMINE оказывает услугу по разработке и внедрению системы управления данными (СУД), выстраиваемой на основе ЕБД.
Построение модели «как есть» (As Is)>1
Если рассматривать процесс построения ЕБД как некий жизненный цикл, в ходе которого происходит эволюция этого объекта, сменяющаяся разными состояниями, то в самом начале сбор информации представляет собой централизованную обработку данных, поступающих из отмеченных выше источников — или центров информации (ЦИ).
При этом не все потоки могут выдавать на выходе результат в электронном виде (полевая геология может частично или полностью вестись в бумажном виде).
Процессы, лежащие в основе ЦИ, могут быть со временем автоматизированы различными методами (переход на использование Excel вместо бумаги; применение новых устройств в геофизических исследованиях с возможностью сохранения собранных данных о замере в электронном формате и др.); однако такая автоматизация в целом имеет «лоскутный» характер (поскольку ограничена рамками ЦИ), и вся информация впоследствии должна быть обработана, проверена и вручную сведена в конечную утвержденную форму, пригодную для дальнейшего использования.
Централизованная обработка и интерпретация геологических данных — это одна из прямых задач отдельных подразделений. На выходе обычно мы имеем сводный файл формата Excel или Access. Процесс добавления новой информации в такой файл может занимать значительное время, а аналитическая обработка данных может быть затруднительна.
Разработка модели «как должно быть» (As To Be)>2
Конечное состояние, к которому должна стремиться эволюция процесса построения ЕБД, представляет собой комплексное решение — систему управления данными (СУД),отвечающее за консолидированный сбор данных, их проверку, сохранность, доступность, анализ и передачу конечным пользователям (в том числе полную синхронизацию ЕБД удаленного офиса с головным офисом). Такое решение должно сокращать временные издержки и обеспечивать высокую надежность и продуктивность использования информации.
Рис. 1. Проекты и категории данных, загруженные по ним
Именно это состояние достигается по результатам внедрения СУД специалистами компании MICROMINE.
Остановимся подробнее на архитектуре и инструментарии такой системы, реализуемой на базе ПО Geobank компании MICROMINE Pty Ltd.
MICROMINE Geobank — система управления данными, которая обеспечивает гибкую и эффективную среду для сбора, проверки и хранения данных, поступающих из различных источников, а также для управления ими. Это динамичное решение с использованием масштабируемой модели данных, которая настраивается под специфические требования геолого-разведочной и добывающей отраслей. Пакет разработан и создан специально для горно-добывающей индустрии и находит применение в компаниях любого масштаба — от отдельных пользователей, работающих на одном объекте, до ведущих компаний, работающих на множестве объектов одновременно.
Хранение данных
В основе данного решения лежит основная база данных (ОБД)>3, которая надежно хранит всю первичную информацию, получаемую из горно-геологических департаментов предприятия. Это ее основное назначение.
Технология: в качестве системы управления базами данных (СУБД) стандартно используется Microsoft SQL Server (2005 и выше), однако есть возможность использовать другое решение (например, Oracle).
Основное назначение ПО Geobank — предоставление графического интерфейса (формы ввода, отчетность, специализированные утилиты для работы с геологическими данными и др.) для взаимодействия с ОБД.
Структура ОБД разрабатывается по результатам проведенного обследования предприятия, проводимого специалистами MICROMINE (от «как есть» до «как должно быть»). При ее разработке применяется принцип открытости и масштабируемости, когда стандартный набор таблиц>4 ОБД может быть дополнен любыми новыми таблицами сразу или в дальнейшем, при возникновении отдельной производственной задачи (например, появилась необходимость фиксировать в системе объемы по ежедневному перемещению руды между складами, не предусмотренная при внедрении).
Дополнительно: имеется логическое укрупнение таблиц в стандартные хабы: скважина, участок, проба, отправка в лабораторию и др. (с возможностью создания новых хабов). Данный подход повышает качество администрирования системы.
Благодаря этим подходам, СУД позволяет работать с любой категорией производственных данных табличного вида, что является необходимым требованием для решения задач консолидации информации.
Также в ходе внедрения прорабатываются роли пользователей, работающих с системой; осуществляется конфигурирование рабочих мест.
Загрузка и проверка данных
Занесение информации в СУД реализуется как ручным способом (формы ввода), так и импортом данных из внешних файлов (поддерживаются форматы .txt, .csv, .dat, .xls, .xlsx). Данные инструменты доступны из рабочего места Geobank и имеют интуитивно понятный русифицированный интерфейс.
СУД хранит лог последних изменений в строках таблиц, фиксируя время изменения и учетную запись пользователя. При необходимости имеется возможность хранения в системе N последних изменений (версионность данных).
Дополнительное взаимодействие
Полноценная поддержка SQL-запросов позволяет получать информацию напрямую из сторонних баз данных (тот случай, когда ЦИ для аккумулирования информации использует свою собственную базу данных или специализированное ПО). Данный подход значительно расширяет возможности в части решения задач консолидации информации, позволяя СУД выстроить полноценный ETL-процесс>5, включающий:
- извлечение данных из внешних источников в буферные таблицы;
- их трансформация и очистка, чтобы они соответствовали требованиям хранилища (ОБД);
- загрузка их в хранилище данных СУД.
Загрузка данных в ОБД включает промежуточный этап валидации, когда данные, помещенные в буферные таблицы ОБД, проходят проверки, настроенные администратором системы. К числу стандартных проверок относятся:
- проверка любых числовых значений на принадлежность заданному диапазону;
- проверка любых текстовых полей на принадлежность кодам выбранной категории справочника;
- проверка границ интервалов выработки (например, интервалы скважины при документировании геологического описания) на зазоры, пересечения, нулевую и отрицательную длину;
- прочие настраиваемые проверки (использование SQL в процедурах проверки не накладывает ограничений на создание любых вариаций).
Рис. 2. Расширенный отчет по содержаниям
Повторные проверки данных в буферных таблицах, не выявившие никаких ошибок, разрешают нам осуществить перенос информации непосредственно в ОБД, предоставляя тем самым 100%-ю гарантию, что мы храним в системе качественную, проверенную информацию.
Аналитика, или ради чего все затевалось
Как было отмечено выше, СУД позволяет консолидировать данные из различных источников, что позволяет нам системно управлять имеющейся информацией и анализировать ее.
Отчеты
Язык запросов SQL, являющийся ядром рассматриваемой СУД, открывает неограниченные возможности в части анализа хранимой информации и генерации различной табличной отчетности с самыми жесткими требованиями со стороны заказчика.
Изначально структурируя первичную информацию в отдельных таблицах, связанных между собой по ключевым полям, мы используем ее впоследствии в качестве кирпичиков при построении различных аналитических отчетов: срезов, группировок, сводных вычислений, фильтруя выборки по указанным датам, месторождениям и/или иным входным параметрам.
С выходом Geobank 2013 и появлением модуля «Расширенная отчетность» качество верстки подобных отчетов стало на порядок выше. Модуль поддерживает мощную систему сегментирования макета страницы выходного отчета на зоны (колонтитулы, зона отчета, зона страницы, группировка и др.). Это позволяет строить сложные отчеты с самыми высокими требованиями к их оформлению. Любой отчет можно сохранить во внешний файл (поддержка форматов .pdf, .mht, .xls, .xlsx, .html).
В числе специализированных аналитических утилит Geobank стоит отметить:
- отдельный модуль «Отслеживание проб» (Sample Tracker), позволяющий выстроить в СУД полный цикл взаимодействия с лабораториями (отправки проб и получения результатов анализов из лаборатории, контроль качества QAQC с построением графиков);
- редактор графических отчетов, позволяющий отстраивать на экране геологическую колонку и различные графики;
- инструмент «Сбивка разреза по глубинам», который позволяет в реальном времени корректировать интервалы геологического описания в соответствии с пиками каротажных графиков;
- пересчет координат выработок между разными системами;
- расчет 3D-координат в интересующих точках глубин (например, в точках замера инклинометрии или в точках центров геологических проб скважины).
Через SQL-запрос можно извлечь из ОБД любую интересующую выборку и выгрузить ее во внешний текстовый файл.
Горно-геологические информационные системы типа Micromine, Datamine, Surpac и др. имеют возможность напрямую обратиться к ОБД с целью извлечения информации, необходимой для задач моделирования месторождений.
Заключение
Внедрение Geobank на российском рынке проводится с 2011 года. За этот период продукт зарекомендовал себя как надежная система управления данными, успешно справляющаяся с самыми сложными задачами. Каждый проект внедрения сопровождается процессом обследования предприятия, что позволяет консультантам компании MICROMINE разработать индивидуальное решение и учесть все необходимые требования и пожелания заказчика.
Программный продукт Geobank рекомендован экспертно-техническим советом государственной комиссии по запасам для использования при решении задач по созданию геологических баз данных на всех этапах геолого-разведочных работ и для представления графической отчетности.
>1 Функциональная модель на основе действующей обобщенной логической модели, выявленная в рамках обследования
>2 Уточненная функциональная модель на основе усовершенствованной обобщенной логической модели
>3 ОБД является реализацией вышеописанной ЕБД
>4 Таблица — объект реляционной базы данных, содержащий информацию о некоторой сущности (например, о скважине, геофизическом замере
выработки, опробовании скважины и т.д.)
>5 ETL (от англ. Extract, Transform, Load — дословно «извлечение, преобразование, загрузка») — один из основных процессов в управлении
хранилищами данных
Опубликовано в журнале «Золото и технологии», № 3 (29)/сентябрь 2015 г.