Доклад посвящен обсуждению опыта решения проблемы качества данных при работе сервиса для управления региональной сетью. Окончил Ковровскую государственную технологическую академию по специальности «Системы автоматизированного проектирования», кандидат технических наук. Более 20 лет опыта работы в ИТ-индустрии, 13 из них – в области управления данными.
- Сейчас – руководитель направления, владелец продукта «Инструменты контроля качества данных» в ПАО «Сбербанк».
- Надежность информационных систем не самоцель, а средство обеспечения своевременной и достоверной информации на ее выходе.
- ИТ-директора рассматривают варианты возможных решений, но рынок может предложить только точечные решения для специализированных задач.
- Это, в первую очередь, правильное распределение функций между людьми и техническими средствами, обоснованность норм и стандартов работы, оптимальность интенсивности и ритмичности, построение рабочих мест в соответствии с требованиями эргономики.
Окупаемость этих затрат зависит как от масштаба компании, так и от самого BI-решения. Если окупаемость использования BI-систем для крупного бизнеса уже давно не оставляет сомнений, то применение таких мощных аналитических инструментов для компаний из сегмента малого и среднего бизнеса была не всегда очевидна. Средний приоритет ввиду значительного влияния автоматизированных контролей на итоговый результат процесса в целом. Например, одна из целей автоматизации любого процесса – снизить требования к компетенциям конечного пользователя путем встраивания автоматизированных контролей и подсказок, способных исключить ошибочные действия. Дополнительно стоит обратить внимание на механизмы работы с дублями, аналогами и на логику работы с ошибками/ исключениями в НСИ11.
Качество данных: от стратегии к практике
Стоит отметить, что такие стандарты для информационной системы дополняют 1SO14000, где отображаются экологические требования к непосредственному производству продукции. Во-первых, хорошее управление качеством данных создает основу для всех бизнес-инициатив. Устаревшие или ненадежные данные могут привести к ошибкам и неправильным шагам. Программа управления качеством данных устанавливает структуру для всех подразделений в организации, которая обеспечивает соблюдение правил качества данных.
Для многих компаний такая регулярная очистка данных является существенным компонентом управления взаимоотношениями с клиентами. Изучение деятельности фирмы СООО “Гейм Стрим”, занимающейся разработкой программного обеспечения интеллектуальных систем. Проведение работы по тестированию информационных систем на степень защищенности и безопасности от разного рода информационных атак.
? исправляющий, выполняющий функции и обнаружения, и локализации, и исправления ошибки.
Необходимо создание полноценной корпоративной модели данных и построенной над ней системой управления качеством данных. Это позволит решить множество проблем с интеграцией и обеспечением ретроспективности данных в условиях постоянных изменений. Но важность таких критериев заключается не только идее управления качеством, но и его контроль. Стандартно контроль информационных систем основывается на измерении показателей при помощи таких инструментов, как методы контроля качества информационной системы. Это операции технологического направления и выбраковка изделий, не соответствующих заявленным стандартам.
Теперь представим, что в исходной системе меняется функциональность или значения ключевого справочника. На практике не всегда возможно даже предсказать место, где возникнет ошибка. Необходимо проводить ручную выверку данных, идентификацию ошибок, доработку алгоритмов, реализацию, тестирование.
Качество данных (Data quality)
Поддержка интеграций превращается в перманентный и дорогостоящий процесс с низким доверием к результатам работы. В свою очередь, разработка алгоритмов на уровне значений справочников требует знание предметной области и специфики бизнеса конкретного клиента. В итоге, возникает целая группа специалистов, которая формализует алгоритмы, скрупулезно программирует, тестирует и тщательно выверяет все данные. Как следствие, качество данных положительные эффекты от внедрения ERP-систем с лихвой перекрываются отрицательными. Предприятия скатываются обратно к «лоскутной автоматизации», а качество данных вновь становиться основной проблемой пользователей. Культура разработки программного обеспечения активно развивалась и использовать комплексные технологии разработки могли позволить очень крупные корпорации с мощными научно-аналитическими центрами.
При этом анализ показывает, что наибольшее качество имеют данные ГАС «Управление», Центрального Банка и Росстата. Важными характеристиками качества данных являются, на наш взгляд, их доступность и своевременность, определяющие возможность получения пользователями данных в требуемые сроки. При этом доступность характеризует не только готовность данных к распространению, но также и приемлемость формы их представления, а также наличие необходимой дополнительной информации (в том числе и информации о возможности и способах получения этих данных).
Вам нужен ИТ аудит?
Предлагается способ выявления некорректных показаний приборов учета, основанный на статистической оценке средних расходов. Также описывается возможность использования коэффициента асимметрии для определения подозрительных (сомнительных) значений. Кроме того, в качестве одного из инструментов решения задачи рассмотрено использование коэффициента эксцесса. Определение коэффициента асимметрии представлено как часть ETL процесса, а среди предполагаемых программных библиотек и средств его реализации для платформы .NET выделены те, которые, по мнению авторов статьи, содержат минимально необходимый функционал.
Пока качество данных в государственных информационных системах оставляет желать лучшего, главным образом потому, что качество собираемых первичных данных далеко не всегда проверяется. И чтобы ввести контроль качества данных при их сборе от физических и юридических лиц, придется прибегнуть к нормативному регулированию. Если управленец, зная актуальную повестку, может также видеть точную картину происходящего («цифровой двойник»), то и принимаемое решение становится наиболее уверенным или даже очевидным.
? ведения системного журнала, подробно фиксирующего каждую операцию (транзакцию) над базой данных;
Стоит отметить, что контроль информационной среды является более действенным методом, так как проводит контроль процесса технологического производства, что позволяет в дальнейшем снизить вероятность появления выбракованной продукции. В отличие от других ИТ-сервисов4, сервис управления качеством данных получил распространение сравнительно недавно. Например, проблемами управления ИТ-архитектурой американские институты занимаются уже более 20 лет.
Качество данных — достойный результат, но не самоцель Яна Соколова, заместитель руководителя департамента PLM и САПР Объединенной двигателестроительной корпорации, — о десятилетнем опыте построения системы MDM, результатах проекта и направлениях развития решения. Администрация Сайта вправе обрабатывать персональные данные посредством внесения их в электронные базы данных, включения в списки (реестры) и внутренние отчетные формы. Обработка персональных данных может быть, как автоматизированная, так и без использования средств автоматизации. Как правило, достижение целей/ задач и результатов проекта (параметры проекта) проверяется в момент завершения проекта. Скорее всего, данные параметры будут описывать состояние автоматизируемого процесса в целом, однако полноценно оценить их достижение возможно только через 1 год (это примерный срок, который зависит от характера ИС и методики оценки) промышленной эксплуатации. Это условная величина, на которую влияет масштаб проекта и изначальный контур12 внедрения.
Esperto di caffè. Appassionato di bacon. Esploratore sottilmente affascinante. Ninja della birra professionista. Creatore. Scrittore dilettante. Introverso.
