dmitry kolomensky ([info]kolomensky) wrote,
@ 2009-06-03 16:48:00
Previous Entry  Add to memories!  Tell a Friend  Next Entry
Entry tags:реакции на

Немного "Трамвайной" математики
Когда проходит какой-нибудь важный для меня конкурс, то некоторое время живешь послевкусием и всячески размахиваешь кулаками, даже если в драке практически не участвовал. «Заблудившийся Трамвай» не исключение.

И дальше речь пойдет вовсе не о том, что кого-то страшно обидели, не дав ему причитающегося куска славы, а другого, напротив, незаслуженно вознесли. Поучаствовав в работе различных жюри, я прекрасно осознаю, что итоговыми результатами конкурсов даже каждый отдельный член жюри чаще всего недоволен – что уж говорить об остальных? Поэтому поздравляю призеров и прошу всех остальных финалистов не принимать близко к сердцу факт «непризерства» – особого смысла нет ни в том, ни в другом, хотя первое безусловно приятно, а второе не менее безусловно огорчительно. Поэтому спешу расписаться в огромном уважении к организаторам, которые все это на себе тянут – и слава Богу, поскольку если бы не тянули, то всем было бы хуже.

И при всем при том хочется хоть на шажок приблизиться к недостижимому идеалу, поэтому пара мыслей по системе судейства в финале. Вообще, систем судейства множество – единственно верной не существует. Но всякая система должна быть логичной, и вот с этим в финальном жюрении «Трамвая» мне помстились некоторые проблемы. Оценки, выставленные членами жюри, и сведение их в единую шкалу можно и нужно посмотреть здесь.

Мы видим, что организаторы отказались от простой суммы баллов, а разделили шкалу на «зоны», попадание в которые приносит участникам баллы – простой принцип если и не трамваев, то пригородных электричек. «Зоны» и их балльное выражение получились следующие:

• 1 место – 5 баллов;
• 2 место – 4 балла;
• 3 место – 3 балла;
• 4—6 места – 2 балла;
• 7—10 места – 1 балл;
• 11—15 места – 0 баллов.

Действует эта система следующим образом: поэт Игнатий Дембель получает от девяти членов жюри следующие оценки (по пятнадцатибалльной шкале) – 13, 2, 8, 8, 14, 5, 9, 1, 2; пересчитываем баллы по «зональному» принципу и получаем 0+4+1+1+0+2+1+5+4=18. Записываем поэту Дембелю в актив 18 баллов, с чем и начинаем его всячески поздравлять. Все хорошо? А вот и нет!

Нелогичность первая. По сути, Счетная Комиссия взяла на себя смелость нивелировать некоторую часть баллов, которым члены жюри придавали вполне определенное значение. Так, если для Счетной Комиссии разницы между оценкой 11 и оценкой 15 нет, то для членов жюри она, несомненно, существенна. Или, например, если член жюри полагает, что разница между 6-ю и 7-ю баллами такая же, как и между 7-ю и 8-ю, то он сильно ошибается, т.к. в первом случае разница составляет 1 балл, а во втором ее нет. Зачем Счетной Комиссии понадобилась собственная система ранжирования вместо естественной балльной, по которой производилась оценка членами жюри, мне непонятно. Кроме того, есть ощущение, что члены жюри не были осведомлены о том, каким трансформациям подвергнутся их вполне логичные ранжированные списки.

Нелогичность вторая. Не очень ясно, по какому принципу проводились границы между «зонами». Вероятно, Счетная Комиссия считает, что член жюри должен чувствовать страшную ответственность за присуждение каждого в отдельности призового места, поэтому каждому из призовых мест соответствует своя «зона». На деле если член жюри и чувствует ответственность за разницу между 1-м и 2-м местом, то к распределению 2-го и 3-го места подходит уже не столь принципиально, а градации между 3-м и 4-м ощущает еще в меньшей степени. Но тем более странно, что по количеству баллов разница между, например, 2-м и 4-м местом у Счетной Комиссии получается такая же, как и разница между, например, 4-м и 15-м местом. Мне представляется сомнительным, чтобы члены жюри, выставляя оценки, вкладывали в них аналогичный смысл.

Нелогичность третья. Сейчас воспоследует старая и мною очень любимая песнь о пошаговом ранжированном списке. Итак, членам жюри предлагается расставить пятнадцать финальных подборок в пошаговом порядке по принципу убывания качества подборки – каждому баллу от 1-го до 15-ти должна соответствовать одна подборка. Таким образом, например, 5-е место в списке может получить только одна подборка, и 1-е тоже, и 15-е. Получается, что Счетная Комиссия априори уверена в том, что одна подборка непременно лучше другой, и никак иначе быть не может. На самом деле, по мнению члена жюри, на определенное количество баллов может претендовать и три, и четыре подборки – да хоть все пятнадцать. То есть даже если член жюри считает, что подборки четверых финалистов заслуживают равного балла (например, 2-х), то по условиям конкурса он все равно вынужден поставить им четыре разных балла (например, 1-2-3-4). А теперь вспомним о «зональном» принципе Счетной Комиссии – в результате между двумя равными, с точки зрения члена жюри, подборками окажется разница в 3 балла. А решается эта проблема элементарно: члену жюри предлагается присвоить каждой подборке любое количество баллов (и необязательно от 1-го до 15-ти, а например, от 1-го до 10-ти). В этом случае числовые выражения баллов будут куда в большей мере соответствовать предпочтениям членов жюри.

И напоследок предлагаю посмотреть, как изменяются результаты, если подойти к полученным от членов жюри данным с иной системой судейства. Повторно должен оговориться, что целью этого демарша является вовсе не восстановление какой-либо не вполне ясной для меня самого персональной справедливости, а именно демонстрация разницы – потому что если результат настолько гуляет в зависимости от методов подсчета, то это не есть хорошо. Система стара, проста и мною любима: баллы, полученные подборкой от членов жюри, суммируются, а потом из полученной суммы вычитается по одному максимальному и одному минимальному баллу, поскольку такие крайние баллы могут являться следствием различных мало относящихся к делу идиосинкразий или, напротив, немотивированных слабостей со стороны членов жюри. Эта система может иметь определенные недостатки, однако она, в отличие от той, которой пользовалась Счетная Комиссия, логична. Итак, пересчитаем баллы поэта Игнатия Дембеля в соответствие с предлагаемой системой: 13+2+8+8+14+5+9+1+2=62; отбрасываем крайние баллы (1+14=15) и получаем итоговый балл поэта Дембеля: 62-15=47. С чем и начинаем поэта Дембеля всячески поздравлять.

Пересчет по новой системе результатов работы жюри «Заблудившегося трамвая—2009» дает нам следующий итоговый список:

• Елена Дорогавцева – 35 баллов;
• Евгений Лукин – 36 баллов;
• Александр Габриэль – 40 баллов;
• Владимир Беляев – 46 баллов;
• Элина Леонова – 50 баллов;
• Давид Паташинский и Михаил Дынкин – по 55 баллов;
• Александр Брятов – 56 баллов;
• Ольга Дернова – 60 баллов;
• Дмитрий Румянцев – 61 балл;
• Анатолий Лемыш – 62 балла;
• Евгения Воробьева (Вежлян) – 65 баллов;
• Инна Ярославцева – 67 баллов;
• Сергей Фаттахов – 70 баллов;
• Николай Ребер – 79 баллов.

Разумеется, кому-то такой список и вовсе не понравится, но он в значительно большей степени соответствует тем баллам, которые выставили члены жюри – пусть они оправдываются, а не Оргкомитет. Всякий крупный конкурс неминуемо вызывает массу субъективных нареканий, и лучше лишний раз не подставляться и не добавлять к ним нареканий чуть более объективных.

P.S. И отдельная больная, как мне кажется, тема для «Заблудившегося трамвая» – полуфинальное судейство. Но об этом как-нибудь потом, если руки дойдут.




(12 comments) - (Post a new comment)


[info]zavtornik
2009-06-03 04:00 pm UTC (link)
браво, Дима! Я таблицу не осилил, а теперь все четко и логично! И ты прав. Между 1 и 3 местом такая же разница, как между 3 и 10-ым. То есть, если есть 3 равные подборки (на взгляд ЧЖ) и весь "хвост" (места с 7-го) ему не нравится, то предложенная система совсем его мнение не отражает.

(Reply to this) (Thread)


[info]kolomensky
2009-06-03 09:47 pm UTC (link)
О том и речь.

(Reply to this) (Parent)

порадовало
(Anonymous)
2009-06-03 05:31 pm UTC (link)
4—6 мечта :-)

(Reply to this) (Thread)

Re: порадовало
[info]kolomensky
2009-06-03 09:47 pm UTC (link)
Да, оговорочка по кому-то там.
Исправил.

(Reply to this) (Parent)


[info]vgch
2009-06-03 08:01 pm UTC (link)
сколько людей - столько и мнений, Дима.
а если "идиосинкразий" больше, чем 2 - где край, Дима?
В статистике, при малых выборках, нежелательно сокращать ряд.
Судей в финале только 9 - ты призываешь выбросить мнение 2-х из них в корзину, причем каждый раз это будут разные судьи...
Уж лучше тогда было оставить как есть, но, кстати, должен сказать, что призеры в этом случае те же. Единственно, Габриэль оказывается на 3-м месте (имея при том 2 первых места, 1 второе и 1 третье а у Дорогавцевой только 1 первое и 4 третьих). Вспоминаю, в связи с этим наш с тобой давний разговор, Дима - после очередного конкурса - когда ты упрекал систему нивелирующую призовые места, когда в лидеры попадает поэт с ровными "средними" оценками... И вот теперь ты противоречишь сам себе:-(
По поводу того, насколько важно для членов жюри места, на которые они определили участников после 5-6 места - так вот большинство судей указывает, что после 5(6,7) места для них распределение уже не так существенно... Четкое ранжирование никому не навязывают.
Например, в одном из прошлых конкурсов один из членов жюри разделил финалистов на две (или три, точно не помню) группы - в этом случае каждый член такой группы получил среднее место по группе. В этот раз тоже было деление 1-2 мест у одного из судей. А другой привел рядом с местами некие баллы, согласно которым финалисты группировались в 4 группы. Все это мы и попытались учесть.
Хотел бы я понять какую такую цель преследуют люди, размещая подобные посты? :-(
а поскольку не понимаю зачем, лично у меня отпадает желание обсуждать что-либо в дальнейшем ...

(Reply to this) (Thread)


[info]zavtornik
2009-06-03 08:15 pm UTC (link)
1. Если у ЧЖ много "идиосинкразий", то надо менять такого ЧЖ :).
2. >Габриэль оказывается на 3-м месте (имея при том 2 первых места, 1 второе и 1 третье а у Дорогавцевой только 1 первое и 4 третьих).

Ну между 2 и 3 местом зачастую разница достаточно мала (о чем и пишет Дима), а призовых мест у Дорогавцевой больше.

3. Виктор, а ЧЖ были ознакомлены с ситемой подсчета или им просто сказали расставить подборки с 1 по 15 места (с возможным делением), а о том, что за 1 место дают 5 очков, а за 3-ье три, они не знали?

(Reply to this) (Parent)


[info]kolomensky
2009-06-03 11:02 pm UTC (link)
Не знаю, Витя, как другие люди, а я, размещая данный пост, преследовал простую цель: обратить внимание - и твое не в последнюю очередь - на несовершенства данной системы судейства. А также на то, что обнародование такой системы, являясь само по себе шагом позитивным, неминуемо вызовет критику наиболее спорных моментов - и к этому надо быть готовым, как должен быть готов к любой критике автор, публикующий свое стихотворение. И тут беда не в том даже, что у тебя может пропасть желание что-либо в дальнейшем обсуждать, а в том, что такое желание может появиться у других; и эти другие могут оказаться менее корректны, нежели я в рамках данного поста.

Теперь о деле.

> а если "идиосинкразий" больше, чем 2 - где край, Дима?
Если идиосинкразий больше, чем две, то одну из них таки придется считать идиосинкразией, а остальные - тенденцией. И это нормально.

> В статистике, при малых выборках, нежелательно сокращать ряд.
Вполне возможно. Я не изучал азов статистики, зато у меня неплохо со здравым смыслом. И когда я вижу, что здравый смысл хромает, то мне становится печально даже в том случае, если статистике ничто не противоречит.

> Вспоминаю, в связи с этим наш с тобой давний разговор, Дима - после очередного конкурса - когда ты упрекал систему нивелирующую призовые места, когда в лидеры попадает поэт с ровными "средними" оценками... И вот теперь ты противоречишь сам себе:-(
Совершенно верно: такой разговор был, однако он касался общих закономерностей работы разнородного жюри. Здесь же мы столкнулись с частностями конкретной системы жюрейства, и речь в посте идет вовсе не об общих закономерностях, а о том, что само составление пошагового ранжированного списка искажает волеизъявление членов жюри. Я прекрасно понимаю твое желание улучшить систему, но в этом году - не вышло. И это может увидеть любой, кто даст себе труд разобраться в способе выведения результатов конкурса. Если Оргкомитет приходит к мужественному решению открыть жюрейную кухню, то это нужно сделать так, чтобы ни у кого никаких вопросов не возникало. А уж когда сама система будет отточена, то можно будет порассуждать и об общих тенденциях работы разнородного жюри.

(Reply to this) (Parent)


[info]patashinsky
2009-06-04 05:21 pm UTC (link)
а что, теперь мы с Дынкиным вместе, что и требовалось доказать!

(Reply to this) (Thread)


[info]kolomensky
2009-06-05 06:28 am UTC (link)
Мазл тов!

(Reply to this) (Parent)


[info]lal_balu
2009-06-05 02:44 am UTC (link)
наплевать на баллы. кого из них по-вашему мнению следует читать?

(Reply to this) (Thread)


[info]kolomensky
2009-06-05 06:27 am UTC (link)
По моему мнению, читать нужно всех - чтобы составить свое мнение. Лично я пока что с этой задачей не справился. Из тех, кого до "Трамвая" этого года не знал, мне показались интересными стихи Паташинского и Дорогавцевой.

(Reply to this) (Parent)(Thread)


[info]lal_balu
2009-06-06 07:38 pm UTC (link)
да я прочел подборки финалистов прежде чем вам писать (за кого вы меня держите? :-) но теперь пойду перечту Паташинского и Дорогавцеву... из тех кого знали, вам кто особенно?

(Reply to this) (Parent)


(12 comments) - (Post a new comment)

Create an Account
Forgot your login or password?
Login w/ OpenID
English • Español • Deutsch • Русский…