Индексы и рейтинги: как создать и оценивать границы применения

Спектр влиятельных индикаторов: KPI разных уровней и сфер, экономика (CSI – Michigan и разных стран, включая ИПН России, PMI разных стран, бизнес-климата IFO, MNI, Doing Business стран и регионов, рейтинги кредитного статуса, политического климата, и коррупции – Freedom House, CPI Transparency International), общечеловеческого развития (HDI of UN, ИРЧП в России), состояния здоровья (WHO – DALYs), качества городской среды (среды проживания), губернаторов субъектов РФ, застройщиков в субъектах РФ/. Типичные проблемные ситуации, создающие потребности создания индексов-рейтингов.

Этапы работы с пользователями, на которых ориентирован индекс. Выявление задач управления, прогнозирования, стимулирования для которых они могут использовать индекс, опыта применения схожих индексов и критики в этом опыте. Выявление потенциала сбора информации и возможных затрат на его проведение. Согласование формулировок задач, которые видят по-разному различные пользователи.

Основные типы исходной информации по особенностям их измерения. Типы шкал. Точечные и интервальные замеры. Циклы измерений. Социально-правовой статус данных. Погрешности измерения: социально-экономические (фальсификация акторами), неполная доступность источников, ошибки фиксации. Методы сопоставления: триангуляция, оценка качественной однородности, проверка культурно-лингвистических различий стран.

Проблема двух крайностей: дефицита методик и субъектов сбора данных по одним показателям и избыточности того и другого по другим. Особенности источников: государственная статистика, ведомственная статистика, статистика НКО, объединений предпринимателей, публичная отчётность участников рынка и бюджетных организаций, материалы учёта и контроля организаций, опросы различных уровней и методов. Составление межотраслевых словарей терминологии. Критерии оценки представительности выборочных данных.

Основные типы формул расчёта индексов. Проблема адекватности строгости и сложности математического аппарата расчётов индикаторов требованиям точности результатов, достаточной для принятия решений с использованием индикаторов, и качеству исходных данных. Социальная и экономическая сущность неравномерных шкал (логарифмической и т.д.). Социальная и экономическая ограниченность применения средних величин и методов регрессии, основанных на показателях центральной тенденции. Применение непараметрических методов в построении индикаторов. Методы оценки роли факторов с использованием экспертных оценок целостных образов по порядковым шкалам (метод виньеток, conjoint analysis)

Разбор ситуаций неадекватного использования результатов оценки индексов и основанных на них рейтингов. Основные причины неадекватности: по социально-экономическому контексту применения индекса, по валидности собираемой информации. Проблема много- и однокритериальности в системах принятия решений. Варианты использования части компонентов индекса как граничных условий его адекватности решаемой с использованием индикатора задаче. Влияние форм представления результатов расчётов рейтингов на их восприятие.