Что измеряет рейтинг восприятия коррупции?

Я уже делал обзор одного из международных рейтингов – рейтинга политических и гражданских свобод Freedom House. Эти посты можно увидеть здесь:

• Политические свободы на Южном Кавказе и в соседних государствах согласно Freedom House - критический обзор
• Политические и гражданские свободы на Южном Кавказе в деталях

(первая ссылка – для тех, кто любит попроще, вторая для тех, кому интереснее все, что посложнее). В тех записях я показал на примере стран Южного Кавказа и их соседей, что Freedom House искажает результаты в пользу близких США стран, а что касается стран, отношения с которыми у США портятся, эти результаты для них оказываются занижены. Я мог рассматривать только 6 стран, поскольку индекс вроде бы очень детальный и подразумевает оценку большого числа параметров, а стран, по которым я был бы это делать в состоянии не очень много. Если я в будущем найду кого-нибудь, кто смог бы адекватно, на том же уровне оценить еще несколько стран, то, вероятно, через год, будет продолжение. К нынешней теме.

Corruption perceptions index 2017 – результаты постсоветских стран

Несколько дней назад Transparency International опубликовал свой Corruption Perceptions Index за 2017 год и это хороший повод поговорить о том, что этот рейтинг собой представляет. Из всех рейтингов этот касается наиболее чувствительной проблемы – коррупции, этот же рейтинг чаще всего цитируется. Вероятно, именно по этим причинам, он с запасом – худший среди всех известных мне рейтингов и не имеет никакой фактологической ценности.

Для начала – основные результаты среди постсоветских стран:

• 21. Эстония (71)
• 38. Литва (59)
• 40. Латвия (58)
• 46. Грузия (56)
• 68. Беларусь (44)
• 107. Армения (35)
• 122. Азербайджан (31)
• 122. Казахстан (31)
• 122. Молдова (31)
• 130. Украина (30)
• 135. Кыргызстан (29)
• 135. Россия (29)
• 157. Узбекистан (22)
• 161. Таджикистан (21)
• 167. Туркменистан (19)

Методологические проблемы

Начну с банальности, но не буду даже ее расписывать особо: никаких методов оценить коррупцию в Туркменистане у Transparency нет. Она может быть какой угодно, а «чисто интуитивное» чувство, что раз там диктатура, значит и с коррупцией плохо, не может быть основанием для баллов.

Вторая банальность – поскольку индекс измеряет «восприятие», то и взятки гладки. Это не так и не является оправданием. Восприятие вообще не имеет корреляции с реальностью (совпадения случайны). У кого еще есть сомнения, советую посмотреть этот 16-минутный ролик ученого, занимающегося когнитивными способностями человека Хоффмана. Если и этого недостаточно, то можно посмотреть список когнитивных искажений – когда вы прочтете весь список, а также отдельные статьи по отдельным когнитивным искажениям, то поймете, что человек не в состоянии воспринимать реальность объективно (и лишь очередным заблуждением/упрощением является то, что из-за этого объективной реальности не существует в принципе). Исходя из сказанного, очевидно, что восприятие важно только в том контексте, что оно влияет на текущую реальность в виде самоисполняющегося пророчества, и тогда восприятие коррупции обществом важно с точки зрения общественной стабильности, а не в том, каковы действительно масштабы коррупции.

Далее разговор более предметный. Рейтинг Transparency не измеряет даже восприятие коррупции обществом. Это можно было бы делать путем регулярных соцопросов с одинаковой методологией, но так и не было сделано. Вместо этого, Transparency измеряет восприятие коррупции экспертами. Собирается в кучу несколько рейтингов, где есть компонент коррупции, их шкала делится на 100 и далее усредняется результат между всеми использованными рейтингами.

Однако далеко не по всем странам есть полное покрытие из одного и того же источника. Так, рейтинг России складывается из 9 источников, а рейтинг стран Южного Кавказа – из 6. Причем ряд источников, которые дают всем странам более низкие баллы, присутствует в России и отсутствует по странам Южного Кавказа, что создает методологическое искажение. Кроме того, у каждого источника разный «шаг» данных, так у Economist всего 6 возможных позиций и шаг соответственно 17/100, у Global Insight – 8, а шаг 12/100, то есть возможный разброс гораздо больше, чем стандартное отклонение, которое приводит Transparency.

Ряд источников имплицитно (а в прошлом – и эксплицитно) использует прошлогоднюю оценку самого Transparency, что создает цикличную ссылку и воспроизводящийся из года в год результат по отдельным странам.

Проблемы с источниками

Откроем базу данных нынешнего рейтинга и в ней раздел стран Европы и Центральной Азии. К сожалению, доступ к значительной части исходных данных отсутствует, поскольку доступ к ним платный. Но можно довольствоваться оценками, которые выставляет сам Transparency.

Один из основных компонентов рейтинга является оценка Global Insight – там на весь регион «Восточная Европа и Центральная Азия» есть три возможные оценки – 47, 35 и 22 балла. Речь идет о шаге в 12.5 баллов или об оценке от 1 до 8. Интересно, что в прошлогодней базе данных, шаг был тем же, но оценки были такими: 47/34/22. Одно это обстоятельство дает некоторое искажение для всех стран в категории «34/35». Далее, сам факт, что шаг оценки 6.25 баллов (у transparency это превращается в 6 или 7 баллов, в случайном порядке), означает, что даже если оценка абсолютно верна, то страна, имеющая балл 47, в реальности имеет от 41 до 53, поскольку если это будет меньше 41, то будет засчитано 35, а если больше 53 – то 59. Учитывая, что у большинства постсоциалистических стран число источников было около 6, мы имеем ±1 балл к каждой оценке как простую погрешность метода. Это если считать, что оценка Global Insight верна, что ни в каком виде не выглядит реалистичным. Балл Азербайджана там 47, наравне с Грузией и больше России и Армении. Последние опросы по коррупционным практикам, проводились в Азербайджане в 2013 году. Вот из результаты:

1.       Опрос всего населения («платили ли вы или члены вашей семьи взятку в последние 12 месяцев»)

2.       Опрос предпринимателей («процент фирм, которым приходилось делать хотя бы один неформальный платеж»)

Оба опроса проводились в 2013 году и согласно обоим, в Азербайджане ситуация принципиально хуже, чем в Армении и Грузии. Так что Global Risks Insight здесь довольно слабый источник. Кроме того, у Латвии и Литвы рейтинг лучше, чем у Грузии (59), в то время как реальные опросы показывают, что все не так (табл. 2).

Так что отклонение вполне может составлять 2-4 балла только из-за global insight, который дает почти нулевую точность. Все рейтинги, включенные в состав CPI, дают искажение в пользу богатых стран и точно такое же искажение дает сам CPI. Разница между Грузией и Литвой – лишь пример этого.

Дальше идет Varieties of Democracy (V-Dem) 2017 Project. С этим тоже есть проблемы: так, например, в Армении, получается, все постсоветское время коррупция росла, а в Австралии с 1900 года она напротив, не менялась. Это просто пример, там весь индекс кривой.

Еще один рейтинг – Bertelsmann transformation index 2016, который почти точно совпадает со средним значением CPI 2015 и CPI 2016 гг. Так получается потому, что одни авторы учитывают рейтинги других авторов и в результате один рейтинг ссылается на второй, второй – на первый, что создает циклическую ссылку. Это одна из вещей, за которые CPI сильно критиковали особенно до 2012 года, когда они пересмотрели методологию. Но по-прежнему элемент цикличности в ссылках есть, что создает стеклянный потолок для развивающихся стран, а также определенное политическое измерение.

Rule of Law Index, который представляет World Justice Project, приведен, как и ряд других, в своеобразном виде. Я, честно говоря, так и не понял, как у Transparency вышли их цифры, возможно, читатели смогут мне объяснить. В таблице ниже представлена та оценка Rule of Law index, которую использовал Transparency в своем рейтинге и те оценки, которые дает сам рейтинг (общий балл и балл по коррупции). Какой бы ни была линейка (0-100; min-max и т.д.), одно не может измениться – порядок стран, который у Transparency все же изменился – и Россия оказалась ниже и Украины, и Турции. Если даже там существует какая-то методология, которая это объяснит, то иначе как подгонкой под заранее заданный результат это объяснить нельзя.

Наконец, в рейтинг включен Freedom House / Nations in Transit. К примеру, рейтинг по Армении мы поднимали два раза за последние десять лет, хотя этого и было недостаточно, чтобы отразить весь прогресс. Но это просто пример, как можно на этот рейтинг влиять. В целом же он тоже имеет много проблем, в первую очередь искажение в пользу богатых стран, а также союзников США, о чем я уже писал в постах, процитированных выше.

Рейтинг России, а также Грузии, Армении и других

Отдельные примеры я уже приводил; поскольку Кавказский узел все же российский сайт, думаю, большинству читателей будет интересно, если я сфокусируюсь на России.

Балл России в этом рейтинге – 29±2.5 из 100, основан на 9 источниках, где максимальная возможная оценка – 33, а минимальная – 25. Однако ряд источников я считаю в высшей степени недостоверными. Это, к примеру, Variety of Democracy Project, который, как я уже сказал не приводит сколько-либо адекватных оценок и чьи оценки скорее всего в будущем будут кардинально пересмотрены. Другой такой рейтинг это the Economist Intelligence Unit Country Ratings, где с шагом в 17 баллов полностью теряется возможность адекватного сравнения стран, а также Freedom House Nations in Transit, который имеет политически мотивированное искажение не в пользу России. Исключив перечисленные три источника, у нас остается 6 источников, чего по идее вполне достаточно для составления рейтинга – к примеру, рейтинг Черногории вовсе основан на 5 источниках.

Средний балл России после исключения перечисленных трех, окажется 33.2, а не 29 и таким образом, вообще выйдет за крайний предел, очерченный Transparency. А учитывая, что стандартное отклонение в этом случае будет примерно 3.5, выйдет, что рейтинг 33.2±3.5 с крайними границами от 28 до 38. И это только при исключении наименее релевантных источников! Раз уж Transparency берется определять статистически допустимые границы рейтинга, они не имеют права на такой провал, тем более, что составные части рейтинга дают более чем двукратный разброс и все они не могут быть верными одновременно.

Что касается Грузии, то тут я думаю, рейтинг адекватен и Грузия действительно на 1 месте среди всех постсоциалистических стран, не являющихся членами ЕС. Но он не адекватен в том, что Грузия отстает от ряда стран Восточной Европы, что на самом деле является искажением рейтинга в пользу богатых стран.

По Армении я считаю, что рейтинг также имеет (возможно, политически мотивированное) искажение вниз. Результат Variety of Democracy project выпадает за пределы вероятностного интервала по Армении по всем остальным рейтингам и уже поэтому он нерелевантен. Если же его исключить, то средний балл по 5 оставшимся источникам будет 37.8 баллов, то есть опять вне ±σ, но по крайней мере, не выходит за рамки допустимого максимума.

Об Азербайджане уже говорил и повторяться смысла не вижу, Азербайджан не может иметь рейтинг сравнимый с Арменией и должен быть ниже России, а не выше.

Критика – заключение

Я уже много лет критикую этот рейтинг – выше я уже сказал, что из всех международных индексов, этот – самый худший. Можно, конечно, сказать, что отдельные цифры ненастолько важны (там есть коридор колебаний), сколько важна общая тенденция и позиция стран в рейтинге. Так бы ответила Transparency International на критику в свой адрес. У них есть еще график, демонстрирующий, что 90% убийств журналистов происходит в странах, где уровень коррупции выше среднемирового. Это заблуждение, поскольку роль играет третья, четвертая и пр. переменная, которая в действительности определяет уровень смертности журналистов. Таковыми являются уровень жизни в стране, наличие в ней конфликта (напрямую связано именно с уровнем жизни, а не с коррупцией, причем скорее самостоятельно влияет на уровень жизни, чем наоборот) и др.

При этом, рейтинг претендует на некую статистическую обоснованность, что выглядит просто возмутительно, на фоне качества его компонентов и показанной выше подгонки методологии под результат. Таким образом, оправдание в виду того, что в нем отражаются общие тенденции, на мой взгляд, совершенно неприемлемо. Более того, и общие тенденции в нем не отражаются, поскольку он почти не показывает динамики за каждый год, а точность представляемых показателей вызывает уныние и не показывает прямой связи с данными, полученными в результате опросов.

Поэтому я считаю, что Corruption Perceptions Index ничтожен и сфальсифицирован, не отражает конкретной ситуации и политически не нейтрален, а значит ни в коем случае не может использоваться при расчетах экономистов (как это часто происходит) и как обоснование той или иной политики.