Диссертация (1147112), страница 24
Текст из файла (страница 24)
Л. Лееманн и Д. Бохслер предложили элегантное решение этойпроблемы166: определить, числа какой длины присутствуют в данных, вычислить вероятностидля последнего разряда для каждой из встречающихся длин чисел, и сложить полученные значения, умножив их на долю, которую числа соответствующей длины составляют от общего количества обрабатываемых чисел. Полученные значения, очевидно, будут отличаться от равновероятных тем сильнее, чем большую долю в общем объеме данных будут составлять числа не164 Mebane W. R. Jr.
Comment on «Benford’s Law and the Detection of Election Fraud». // Political Analysis. 2011. Vol.19. P. 269–272.165 Beber B., Scacco A. What the Numbers Say: A Digit-Based Test for Election Fraud. // Political Analysis. Vol. 20. 2012.P. 211–234.166 Leemann L., Bochsler D. A systematic approach to study electoral fraud. // Electoral Studies. 2014. Vol. 35. P. 33–47.107большой длины (1–2 разряда).Более общее решение проблемы применимости закона Бенфорда к данным электоральной статистики было предложено Л.
Перикки и Д. Торресом 167. Одним из факторов, обусловливающих отклонение наблюдаемых вероятностей в первом разряде чисел от предсказанных законом Бенфорда является ограничение области допустимых значений сверху. В отличие от финансового аудита, где величины транзакций ничем не ограничены, число голосов избирателей неможет превышать их списочной численности на участке (аналогично с более высокими уровнями агрегации). При этом число избирателей на одном участке является традиционно небольшойвеличиной, поскольку служит упрощению как процесса голосования, так и подсчёта результатов.
Предложенная корректировка учитывает ограничение сверху с помощью формулыBPi (d∣N ≤ K )=P i (d) ♯ {d i ≤K }∑∀ d PBi (d) ♯ {di ≤K }(7)где Pi(d|N≤K) — вероятность встретить цифру d в разряде i для множества чисел N,ограниченных сверху K; Pbi(d) — вероятность встретить цифру d в разряде i по законуБенфорда; ♯{di≤K} — число положительных чисел, меньших K, в разряде i которых находитсяцифра d. В знаменателе дроби сумма высчитывается для всех возможных для разряда i цифр.Очевидно, в таком виде поправка Перикки-Торреса использует единственное значениеверхнего предела для всех данных — максимальную списочную численность избирателей научастке.
Для того, чтобы скорректировать эту поправку с учётом наличия УИК с существенноразличным количеством избирателей, в рамках настоящего исследования были предложены иопробованы два способа, отталкивающиеся от вышеупомянутой идеи, предложенной Л. Лееманном и Д. Бохслером. Первый способ заключается в том, чтобы с помощью кластерного анализа выделить группы наиболее сходных по числу избирателей УИК. Затем для каждой группыиспользуется максимальная списочная численность избирателей, и полученные вероятностисуммируются, пропорционально доле УИК в каждом кластере относительно общего количестваУИК.
Эмпирически было установлено, что оптимальным порогом отсечение является объяснение кластеризацией не менее 90 процентов дисперсии значений. Выше этого уровня приростобъяснённой дисперсии резко замедляется, и достижение порога в 95% достигается только существенным (~ удвоением относительно 90% уровня) увеличением числа кластеров. Процессподбора числа кластеров проиллюстрирован на рис. 46.167 Pericchi L., Torres D.. Quick Anomaly Detection by the Newcomb–Benford Law, with Applications to ElectoralProcesses Data from the USA, Puerto Rico and Venezuela.
// Statistical Science. 2011. Vol. 26. No. 4. P. 502–516.108Рисунок 46: Подбор числа кластеров (Словакия, 2016 г.).Полученные кластеры отображены на рис. 47. В случае парламентских выборов в Словакии в 2016 г., вышеописанная методика привела к выделению пяти кластеров. Один из них содержит все УИК с необычно большим числом избирателей (от 1195 до 3043), и один состоит изединственного УИК в муниципалитете Трховиште района Михаловце Косицкого края Словакии,где в списках, судя по официальным данным, оказалось 12 тысяч избирателей.
Остальные кла стеры относятся к УИК с примерно тысячей избирателей, от шестисот до тысячи, от двухсот дошестисот и от двадцати до двухсот. Эта конфигурация объясняет 93,35% дисперсии величиныУИК.109Рисунок 47: Кластеры, выделенные для УИК Словакии (2016 г.).Вторым способом скорректировать поправку Перикки-Торреса стал точный подсчёт вероятности для каждого встречающегося значения списочного числа избирателей. На практикевыяснилось, что имеющиеся программно-аппаратные средства в равной степени не позволяютприменять оба эти метода к большим объемам данных (более ~12 тыс. наблюдений) — в первомслучае из-за нехватки памяти ЭВМ для проведения кластерного анализа, во втором — из-заслишком большого времени, требующегося на проведение вычислений.
Таким образом экономия времени на сокращении числа обрабатываемых пороговых значений через кластеризациюнаблюдений не позволила получить более выгодную с расчётной точки зрения процедуру. Это, всвою очередь, ограничило число случаев, где можно сравнить все упомянутые методы.Для анализа частоты появления цифр в различных разрядах чисел в данных электоральной статистики были отобраны числа, соответствующие поданным в пользу участников выборов действительным голосам.
Для каждого исследуемого случая совокупность таких чиселрассматривалась на национальном уровне в целом, без деления на результаты отдельных участников, и без исключения каких-либо значений. Для применения поправки Перикки-Торреса дополнительно привлекались сведения о списочном числе избирателей (что исключило израссмотрения по этому критерию Латвию и Албанию в 2009 г.). Наконец, для части случаев корректировка поправки Перикки-Торреса оказалась невозможной при имеющихся программноаппаратных ресурсах. Таким образом все методики оказались применимы для 59 случаев из 98.110Рисунок 48: Частота появления различных цифр в первом разряде чисел и эталонныераспределения.На рис.
48 представлены наблюдаемые частоты появления цифр в первом разряде чисел,по всем рассматриваемым случаям. Явно выделяется очень широкий разброс для единицы, ималый разброс для старших цифр (7, 8, 9). Совершенно очевидно, что не только равновероятноераспределение, но и закон Бенфорда не описывают наблюдаемую картину. Для первых трёхцифр закон Бенфорда предсказывает частоты, меньшие большей части наблюдений.
Старшиецифры, наоборот, переоценивает. Закон Стиглера точнее предсказывает частоты двух старшихцифр, но переоценивает все остальные. В русле основного постулата Бенфордовского анализа,такого рода отклонения можно было бы объяснить только массовыми искажениями результатовголосования во всех странах. Это предположение, очевидно, нонсенс. Остаётся сделать вывод,что закон Бенфорда и вправду не описывает распределение цифр в первом разряде данных, относящихся к электоральной статистике — или, если говорить точнее, к наиболее важной частиэлекторальной статистики, числу голосов, поданных за участников выборов.Результаты применения теста G2 подтверждают это наблюдение.
Только два случая показали величину вероятности нулевой гипотезы выше 5%. — Эстония (1992 г.) и Литва (1997 г.).Эти случаи отражены в таблице 12. Для остальных же случаев величина нулевой гипотезы длявсех сравниваемых распределений (законы Бенфорда и Стиглера, равновероятное, Бенфорда споправкой Перикки-Торреса по максимуму списочной численности УИК) меньше (и как правило, значительно) пяти процентов.111Таблица 12: Случаи, прошедшие тест по первой цифре — закон Бенфорда (df=9).Страна ГодЛитваТур G1997 1Эстония 19929,005Вероятность H00,34214,493 0,070Для второго разряда ситуация улучшается (рис.
49). Здесь по-прежнему налицопереоценка законом Бенфорда частоты старших цифр и недооценка частоты младших (для цифры 4 оценка выглядит достаточно точной), но разница не носит такого вопиющего характера,как в случае первого разряда. И, разумеется, наблюдаемое распределение не имеет ничего общего с равновероятным.Рисунок 49: Частота появления различных цифр во втором разряде чисел и эталонныераспределения.Увеличивается и число случаев, которые проходят тест на совпадение с ожидаемыми частотами наблюдения цифр во втором разряде. Для закона Бенфорда статистически значимое на5% уровне совпадение наблюдается в 16 случаях (таблица 13), для закона Бенфорда с поправкойПерикки-Торреса — в 6 (таблица 14). С равномерным распределением не совпал ни один случай.
Три случая из Литвы (1997 и 2014 гг.) и два из Эстонии (2011 и 2015 гг.) прошли оба теста.Таблица 13: Случаи, прошедшие тест по второй цифре — закон Бенфорда (df=10).СтранаГодТур GБолгария 2006 2Вероятность H016,783 0,052112СтранаГодТур GВероятность H0Латвия200216,052 0,066Латвия201115,870 0,070Латвия201411,797 0,225Литва1997 215,746 0,072Литва2002 213,329 0,148Литва2014 11,868Литва2014 216,347 0,0600,993Румыния 1992 18,0810,526Румыния 1992 216,038 0,066Словакия 2014 216,100 0,065Эстония19997,813Эстония200310,204 0,334Эстония200710,351 0,323Эстония201116,378 0,059Эстония20158,0400,5530,530Таблица 14: Случаи, прошедшие тест по второй цифре — закон Бенфорда с поправкойПерикки-Торреса (df=10).Страна ГодТур GВероятность H0Литва1997212,1290,206Литва2014111,4960,243Литва2014211,7710,227Эстония 19957,2430,612Эстония 201114,0830,119Эстония 20158,6800,467Для последних разрядов чисел тенденция остаётся в целом аналогичной (рис.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
