О народных судьях и эффективном судействе

/начало здесь - "Два года на Стихире" http://stihi.ru/2013/04/24/4704,
                "На третий круг"      http://www.stihi.ru/2013/05/08/3266 /




Тема эффективности судейства и оптимального выбора судейской бригады неоднократно поднималась на разных конкурсных площадках. Очередным витком этого сюжета стала дискуссия на площадке Светская хроника о "народном судье" (http://www.stihi.ru/2013/05/12/2009).

В качестве своей лепты по данному вопросу счел возможным опубликовать фрагменты переписки с организатором и ведущим площадки Самовыражение (http://www.stihi.ru/avtor/samoviragenie) Андреем Ефимовым (http://www.stihi.ru/avtor/efimov2). Переписка датирована ноябрем 2011 года и прервалась по уважительной причине. Андрей преждевременно оставил всех нас. Он очень хотел усовершенствовать работу жюри своего конкурса, но не успел...

Рецензия на «Сообщение» (Конкурс Самовыражение)

Уважаемые организаторы!
Раздумья над системой голосования сподвигли меня проанализировать
результаты одного из закончившихся конкурсов (Конкурс "Не бросайте стариков")
с использованием методов математической статистики.
Выставленные конкурсантами оценки сравнивались с итоговыми результатами
конкурса. Вычислялась сумма квадратических отклонений проставленных участником оценок
от итоговых (средних суммарных оценок всех голосовавших).
Таким образом, минимальное значение этого показателя выявляло участника,
который проставил максимально объективные оценки, иными словами угадал
окончательное распределение участников конкурса).
И наоборот. У кого этот показатель оказался самый большой - оценки этого
судьи, видимо, достаточно субъективны.

Позволю себе привести таблицу результатов:
1.Михаил Битёв 20
2.Нелли Зима 29
3.Кукла Саша 37
4.Юрий Соловьёв 43
5.Ирина Шабалина 47
6.Елена Громцева 48
6.Наталья Шалле 48
7.Ирина Зуенкова 51
7.Сергей Ивашин 51
7.Форнит 51
8.Эмили Шантэ 54
9.Ольга Хворост 56
10.Александр Загумённов 60
11.Александр Момус 61
12.Маша Халикова, 65
13.Лилия Отрадная 70
13.Борис Карев 70
14.Жек Самойлов. 79
15.Ольга Заря 81
16.Людмила Филатова 84
17.Ласточкина Надежда 94
18.Роза Пирата 107
19.Лина Лучникова 110
20.Любовь Левитина 116
21.Анна Бойцева 118
22.Пётр Кольцов 119
23.Марина Черницына 120
24.Лана Сноу 168 и
25.Владимир Кириченко Градижский 196

К чему я это всё говорю?
К тому, что объективных арбитров, очевидно следует искать в верхней части данного списка).
Например, Михаил Битёв показал феноменальный результат. Половина его оценок стихотворений
участников полностью совпадает с итогами конкурса, а вторая половина отличается менее, чем на один
балл (это при 10бальной шкале голосования!).Иными словами этот судья даёт точные оценки в
95 % случаев!!! Вот бы его привлечь в арбитры)))
Кстати, очень достойные результаты у Нелли Зимы и Куклы Саши. Практически 90процентная надежность.
В первой десятке списка участники, чьи оценки редко отличались от окончательных более чем на два балла
по десятибальной шкале. Согласитесь, странно, если абсолютное большинство ставит стихотворению 8-9 баллов,
а кто то вдруг 2-3 балла. Это может иметь место. Но не слишком часто))).
Очень важно, чтобы у судьи не было повышенной или заниженной оценки...присутствовало особое чутье
на ИСТИННОЕ, не зависимо от личных предпочтений и вкусов...

Не знаю какую реакцию вызовет моё обращение...
Надеюсь оно поможет выработать эффективную систему голосования.
С уважением, Сергей.
Сергей Ивашин   08.11.2011 12:56   •   Заявить о нарушении правил / Редактировать / Удалить

-----------------


Уважаемый Сергей! Большое спасибо. Это очень интересная информация.А можете мне вычислить правильность моего выбора жюри на зимний сезон?
Конкурс Самовыражение  (Андрей Ефимов) 08.11.2011 21:53   

-----------------

Рецензия на «Опрос О системе голосования» (Конкурс Самовыражение)

Андрей!
Закончил по Вашей просьбе статистический анализ работы жюри
на конкурсе "Моё новое стихо-3".

Постараюсь изложить сухо (без эмоций). Только факты.

1). В целом оценки жюри ниже оценок коллективного разума
участников конкурса примерно на полтора балла
(при десятибальной шкале). Это представляется
объективно нормальным. Жюри априорно опытнее и строже
самих участников подходит к оценке произведений.
2) Работа арбитров оценивалась анонимно - по номерам их
бюллетеней. (далее Б1, Б2, Б3, Б4 и Б5)

Анализировались отклонения мнения арбитра от усредненного
мнения всей участников конкурса и отклонение его оценок
от оценок его коллег по жюри.

3) Приведу результаты в виде таблицы

Отклонение результатов членов жюри от:

-------------------------------------
арбитр от конкурсантов коллег
--------------------------------------
Б1 2,3 1,5
Б2 2,6 1,9
Б3 1,9 1,7
Б4 2,5 2,0
Б5 1,9 2,4

Коментарии:

3.1) Довольно далеки члены жюри от "народа". Практически у всех
судей критерии оценки не совпадают с абсолютным
большинством участников.
Особенно значительное отклонение у Б2 (на 2,6 балла отклонения)
и Б4 (2,5). Не сильно отстает и Б1 (2,3)
В результате такого разногласия нередки случаи, когда
авторы (30 человек) оценивают стихо на 5-6 баллов,
а судья на 9 или 2. Здесь можно говорить о существенном
расхождении критериев массового и профессионального
оценивания. А сами критерии, которыми руководствуется
жюри, нередко достаточно туманны и судить о них по репликам
и комментариям массам "подсудных" затруднительно.

Самые "народные" судьи - Б3 и Б5. Их оценки отклоняются в среднем
от народных менее чем на 2 балла по 10-бальной шкале.

3.2) При озвученных отклонениях от социума может быть арбитры единодушны
в своей среде? Увы, нет! Половина арбитров имеют мнение, отличающееся
от коллег на 2 и больше балла!! Абсолютный лидер Б5 (2,4 балла),<
Б4 (2 балла в среднем), да и Б2 (около 2). А что это означает?
2 балла - это градация между отлично и хорошо, между хорошо и
удовлетворительно и т.д. при 10 бальной системе. Следовательно,
эти профессионалы затрудняются поставить объективный диагноз
предложенным стихо, как бы отсортировать их - отнести к определенной
группе качества. Как если бы сомелье перепутал вино 5 летней выдержки
с двухлетним купажом...
Самые "центристские" оценки у арбитров Б1 (1,5) И Б3 (1,7).
Поэтому их критерии судейства прозрачнее и ближе большинству.

3.3) Индивидуальные резюме
3.3.1) Наиболее статистически надежные результаты показал
арбитр Б3. С одной стороны он ближе всех судей
к народным оценкам. С другой, он не впадает в крайности
среди коллег. Вывод - МАКСИМАЛЬНАЯ КОМПЕТЕНТНОСТЬ.
НЕ В КОЕМ СЛУЧАЕ НЕ ОТПУСКАЙТЕ ЭТОГО АРБИТРА!

2) Арбитр Б5, хотя и достаточно толерантен к народным массам,
зато абсолютно выбивается из судейских рядов, чем существенно
дискредитирует судейскую коллегию)))) - БЕЗАППЕЛЯЦИОННАЯ КОМПЕТЕНТНОСТЬ
3) Арбитры Б1,Б2 и Б4 существуют в значительном отрыве от
статистического ординара народных критериев, с той только
разницей, что Б1 больше всех подходит для работы в команде,
а Б2 и Б4 более обособлены в принятии решений.
4) Общий вывод - не всегда талантливый человек талантлив во всём.
Не всякий великий музыкант способен быть учителем музыки...
И в этом нет ничего стыдного... Кстати - резерв на выдвижение -
Очень хорошими "врожденными" способностями оценивать обладают
Михаил Битёв, Нелли Зима, Кукла Саша, Юрий Соловьёв,
Ирина Шабалина, Елена Громцева, Наталья Шалле...
Может попросим их посудить тоже?

И тогда мы может поймем как нам всем надо оценивать "Передоз"
Аси Алиевой - одним или десятью баллами? ,"Подарю тебе жизнь"
Эмили Шантэ - тремя или девятью баллами? и так далее...

Ибо, народу нужен внятный ориентир.

Спасибо за внимание.
С уважением, Сергей Ивашин
Сергей Ивашин   10.11.2011 14:25 

К сожалению, пару месяцев спустя Андрея Ефимова не стало...

А математическая статистика бесстрастно констатирует, что не всякий замечательный автор является хорошим арбитром. И, напротив, не обязательно быть гениальным поэтом, чтобы быть хорошим судьей.