4.4 Услуга по подписке на наборы данных

Услуга по подписке включает в себя выполнение следующих регулярных (ежеквартальных) работ:

Подготовка данных
- Получение программного доступа к внешним источникам данных с показателями социально-экономического и пространственного развития
- Профилирование источников первичных данных
- Скачивание и распознавание исходных данных
- Подтверждение полноты первичных данных из источников
- Ведение справочников (показателей, аналитических измерений, сценариев, версий, стадий обработки), моделей данных источников и получателей, а также таблиц соответствия, с учетом изменений во времени.
- Документирование изменений в составе и структуре источников и получателей данных
- Документирование изменений в методе учета показателей
Обработка данных
- Устранение технических ошибок в форматах первичных данных, в том числе именовании полей, форматах значений, сдвигов рядов данных, пропусков в аналитических срезах данных
- Агрегация скачанных первичных данных и приведение к эталонной структуре
- Выявление изменений в первичных данных, в том числе задним числом, в том числе в структуре данных, справочниках и фактических значениях
- Восстановление пропусков, устранение дублирования данных
- Валидация и предложений по корректировке значений показателей эконометрическими методами по набору правил, в том числе
- удовлетворению балансовым соотношениям,
- нахождению в коридоре допустимых интервалов,
- удовлетворению соотношениям главным компонентам (собственным векторам)
Предоставление данных
- Создание и поддержка программного интерфейса (REST API) к справочникам, наборам первичных и аналитически-выверенных данных
- Выгрузка наборов значений и справочных данных в форматах данных csv, xlsx, parquet, qs, fst
Документирование процессов сбора, обработки и предоставления
- Проставление сценариев (факт, оценка, прогноз, план, сценарий, цель), стадий (исходный, исправленный, откорректированный, номер стадии), версий и методов учета значений показателей – необходимой для правильной интерпретации и трассировки значений показателей
- Ведение библиотеки методов проверки, правил верификации и валидации значений показателей
- Подготовка интерактивного отчета по объему, полноте и выявленных ошибках.

Вопросы и предложения