[Fenrira Grey]

За последние дни услышала энное количество слухов о ридерском голосовании на РСИЯ, от некоторых волосы дыбом.
Так что пост о том, как оно все там происходит.

На новом сайте введена возможность анонимного голосования для ридеров и жюри. Если они не хотят выбирать шорт коллективно - их оценки/галочки увижу только я.
Параллельно в рабочем сообществе создаются ридерские треды под каждую номинацию.
После конца приема работ для каждой номинации задается стартовое количество галочек "В шорт", которые должен поставить ридер. Это примерно треть номинации, но не больше 25-30 работ.
Дальше, грубо говоря, есть несколько вариантов развития событий:
- Ридеры отметили свои галочки, набралось достаточное количество совпадений, получившийся шорт публикуется в треде для ридеров. Они с ним соглашаются, шорт публикуется.
- Ридеры отметили свои галочки, набралось достаточное количество совпадений, получившийся шорт публикуется в треде для ридеров. Они с ним не соглашаются, завязывается обсуждение, шорт удлинняют-укорачивают-изменяют, соглашаются. Шорт публикуется.
- Ридеры отметили свои галочки, набралось сколько-то совпадений, и этих совпадений для размера номинации мало. Получившийся шорт публикуется в треде для ридеров, и я прошу выбрать еще по N работ. Ридеры либо добирают, либо говорят "Не, чувак, номинация слабая, остальное ваще жесть. То, что есть - ок, так и оставляем". Шорт публикуется.
- Ридеры вообще забивают на галочки и в треде коллективно решают, какие работы выбрать. По итогу идут и голосуют одинаково все трое.

И так далее с вариациями.

Члены жюри независимо друг от друга могут проголосовать каждый за одну работу на протяжении всего ридерского голосования. Иногда эти работы совпадают с работами, отобранными ридерами, иногда нет. Кто-то голосует во время ридерского голосования, кто-то после, когда видит получившийся шорт в рабочем сообществе.

Какие фики проходят в шорт? 20-40% в номинации проходит с тремя голосами. Чаще всего они и выигрывают потом жюрийное голосование. Остальные - работы с двумя голосами. Они могут быть примерно сравнимы с работами, не попавшими в шорт, но все фики взять нельзя, четкую границу качества провести тоже. Среди равных прочих кто-то из ридеров выберет работу с оригинальным и закрученным сюжетом, кто-то с яркими прописанными персонажами, кто-то посчитает, что важнее стилизация или проработанная матчасть т.д.

Почему максимум 25-30 работ? Зачем вообще нужны ридеры?
- 25-30 работ, судя по опросам, члены жюри смогут прочесть и оценить за имеющееся время.
- По задумке шорт-листы это не "вся номинация минус слабые работы", это - "сильные работы номинации". Пройти в шорт лист - не просто подготовительная часть перед соревнованием, это уже соревнование.

Соглашаясь ридерить/жюрить, судьи подписываются под некоторым списком обязательств. Среди них - прочесть все работы номинации/весь шорт-лист соответственно. И пока кто-то из ридеров не сказал, что номинацию не читал, а галки расставлял через три на четвертую, я исхожу из того, что он соблюдает правила.

"Как нам обустроить РСИЯ" можно обсуждать бесконечно, данный пост рассказывает, как работает текущий конкурс.

@темы: РСИЯ

Comments

[Vitce]

Fenrira Grey, то есть вы считаете, что шорт аниме в данном случае - окей, как он есть и система с голосованием галками сработала отлично?
Что обводка в шорте артов - окей и система сработала отлично?
Понимаете, вопросы уже не в том, как оно работает. Вопросы в том, что оно не сработало, а работы, которые по идее "прошли с двумя галками" не "примерно равны остальным", они хуже.
Кроме того, в шорте аниме не 25 фиков, а 19. То есть ридеры действительно могли взять еще фики, но решили, что они недостойны, а фикбук, который в шорте, достоен?

[Betelgeuze.]

- По задумке шорт-листы это не "вся номинация минус слабые работы", это - "сильные работы номинации".

Фенри, прости, но в этот раз что-то в этой системе явно поломалось

[Аурум]

Ридеры либо добирают, либо говорят "Не, чувак, номинация слабая, остальное ваще жесть. То, что есть - ок, так и оставляем".

Фенри, но ведь если в номинации должно было быть 25, ну ладно, 20 фиков, а набрали всего 19, да еще и с задержкой, то получается, что ридеры добрали шорт до 19 с превеликим трудом, а потом сказали, что все, дальше пиздец. Но ведь дальше не пиздец - и об этом уже не меньше десяти человек открыто, от аватарки сказало. И, наверное, мнение десяти человек, высказанное одинаково чуть ли не до слова, должно хоть чего-то стоить в масштабах конкретной номинации?

[jetta-e]

По задумке шорт-листы это не "вся номинация минус слабые работы", это - "сильные работы номинации". Пройти в шорт лист - не просто подготовительная часть перед соревнованием, это уже соревнование.

А этот принцип где-то раньше был озвучен? Вероятно, я невнимательна, потому что раньше всегда полагала задачей ридеров отсечь заведомый шлак немодерируемого конкурса, чтобы жюри могло не тратить на него время и оценивать сравнительно друг с другом все остальное. Если же ридеры должны "снять сливки" и выделить непосредственно пару десятков претендентов на победу, тут и роль, и возможности жюри несколько по-другому выглядят.

[Puhospinka]

А я сейчас немножко поохуеваю рядом с коллегой по номинации. В смысле, присоединюсь к вот этому:

А этот принцип где-то раньше был озвучен? Вероятно, я невнимательна, потому что раньше всегда полагала задачей ридеров отсечь заведомый шлак немодерируемого конкурса, чтобы жюри могло не тратить на него время и оценивать сравнительно друг с другом все остальное. Если же ридеры должны "снять сливки" и выделить непосредственно пару десятков претендентов на победу, тут и роль, и возможности жюри несколько по-другому выглядят.

И спрошу.
Фенри, а где-нибудь изложено вот это вот:

Дальше, грубо говоря, есть несколько вариантов развития событий:
- Ридеры отметили свои галочки, набралось достаточное количество совпадений, получившийся шорт публикуется в треде для ридеров. Они с ним соглашаются, шорт публикуется.
- Ридеры отметили свои галочки, набралось достаточное количество совпадений, получившийся шорт публикуется в треде для ридеров. Они с ним не соглашаются, завязывается обсуждение, шорт удлинняют-укорачивают-изменяют, соглашаются. Шорт публикуется.
- Ридеры отметили свои галочки, набралось сколько-то совпадений, и этих совпадений для размера номинации мало. Получившийся шорт публикуется в треде для ридеров, и я прошу выбрать еще по N работ. Ридеры либо добирают, либо говорят "Не, чувак, номинация слабая, остальное ваще жесть. То, что есть - ок, так и оставляем". Шорт публикуется.
- Ридеры вообще забивают на галочки и в треде коллективно решают, какие работы выбрать. По итогу идут и голосуют одинаково все трое.

?

Потому что я о таком впервые слышу. То есть да, я знаю, логических пораскинув мозгами, что можно, взглянув на предварительный шорт, открыть/закрыть рот, а потом либо инициировать обсуждение. либо внести свои предложения, либо что-то еще. Я слышала, что ридеры/судьи обсуждают свой выбор.
Но о том, что оказывается есть какие-то вполне официальные варианты неанонимного голосования, я вижу впервые и я в ахуе. Почему-то мне казалось, что анонимное голосование - это такая установка организатора, призванная увеличить фактор непредвзятости.
А тут выясняется, что вообще-то был выбор.

[Fenrira Grey]

Vitce, NecRomantica,
Система работает примерно одинаково каждый год, не без погрешностей.

Аурум, Vitce,
В номинации не должно, а может быть 25-30 фиков.

И, наверное, мнение десяти человек, высказанное одинаково чуть ли не до слова, должно хоть чего-то стоить в масштабах конкретной номинации?

Для меня имеет значение мнение ридеров и жюри этой номинации, выраженное в результатах голосования.

jetta-e,
Это следует из количества выбираемых работ. Максимум 25 работ это чаще всего не "все минус шлак", а "лучшее и хорошее".

Пухоспинка,
Это не официальные возможные опции, это описание (неполное) уже складывавшихся ситуаций. Правилами никак не ограничивается возможность ридеров обсуждать свой выбор, если они этого хотят.

[Vitce]

Fenrira Grey, извините, но нет. Никогда я не видела такого, чтобы столько хорошего осталось за бортом и такое плохое было в шорте. Погрешность превысила всякие допустимые пределы. Окей, я поняла вашу позицию, вопросов больше не имею.

[Puhospinka]

Fenrira Grey, нет, я в курсе, что ридеры могут обсуждать шорт.
Как выяснилось, мы могли не страдать херней "а давайте еще по пять галочек", а положить без всяких галочек свои списки, сообща выбрать то, что мы посчитали нужным.
Нет, я все-таки в ахуе.
Надо же, какой я, оказывается, тупой ридер. Наверное, могла бы догадаться.

[jetta-e]

Fenrira Grey, увы, в самих правилах про этот максимум в 25-30 работ сказано не было... вероятно, если бы это было прописано там в формулировке типа "сколько бы работ ни было подано в номинацию, в шорт-лист отбирается не более 25 лучших; принципы и оценки отбора в шорт не разглашаются", это было бы полезно знать заранее и участникам, и судьям.

[Fenrira Grey]

jetta-e,
Правила целенаправленно обходят стороной точные цифры.
Если ридеры выберут 31 текст, согласится жюри прочесть всего один лишний, это ведь несложно? А если два? А если они размером 2к слов? А если 100к слов?
Все решается отдельно для каждого конкретного случая.
Принцип отбора один - оценивать работу исключительно по ее художественным достоинствам.
Если в ключевое было "оценки не разглашаются", то я считаю, что ридерам (и жюри) может захотеться поговорить о своей работе. Прочесть гору текстов тяжело и времязатратно, а рассказать о своем выборе и предпочтениях - часть фана, который они получают.

[MyTrueColors]

оценивать работу исключительно по ее художественным достоинствам.

т.е. я правильно понимаю, что ридеры сделали работу, как полагается и, что "Тайфун" теперь у нас является действительно стоящим текстом, по сравнению с "Я — для тебя", "Лавинщик", и другими работами.

Я просто хочу понять, каким образом при системе, которая по идее должна работать с небольшими погрешностями - на выходе получили вот такой шорт с фиком, который там вообще не должен был оказаться.

Все решается отдельно для каждого конкретного случая.

и раз уж про это заговорили. Везде много обсуждений, вопросов, не является ли все это толчком к тому, чтобы организаторы конкурса сделали что-то для решения текущей проблемы? Или вы планируете оставить все как есть?

[Puhospinka]

Fenrira Grey, кстати. Я предлагала увеличить шорт в гетодженовой номинации хотя бы до 40 работ.
И просила узнать у судей, ну а вдруг они согласятся прочитать не 30 текстов, а 40?
Я так понимаю, ты не спрашивала?

[Vitce]

Ладно, все-таки не удержусь.
Fenrira Grey,

Принцип отбора один - оценивать работу исключительно по ее художественным достоинствам

Но... совершенно очевидно же, что с художественными достоинствами возникли проблемы?
Честно говоря, я читаю об организации и меня все это очень удивляет. Даже люди, которые внутри системы, не знают, что она из себя представляет, какие потолки, критерии, способы взаимодействия и работы. Сейчас выглядит так, будто часть проблем и

погрешностей

явно объясняется именно тем, что ридеры не знали, сколько фиков могут взять, не знали, по всей видимости, что могут иметь нормальную коммуникацию друг с другом и обсуждать все.

[Fenrira Grey]

aleks-neko,
Еще раз: для меня ключевым является мнение ридеров и жюри. Я никак не вмешиваюсь в их работу, если они взяли этот фик в шорт - я с ними соглашаюсь.

aleks-neko, Vitce,
Более подробно объяснить ридерам, что и как они могут выбирать, в следующем году нужно определенно. Сделать временной лаг для (возможности) совместных обсуждений - тоже. А в этом году, одновременно с последним шортом и концом ридерского голосования на сайте, появится (если появится) только донабор от жюри.

Vitce,

Но... совершенно очевидно же, что с художественными достоинствами возникли проблемы?

Могу только еще раз повторить, что сама я не оцениваю работы, я полагаюсь на мнение ридеров и жюри. Если они выбрали - значит выбрали.

Пухоспинка,
Да, не спросила, мой проеб.

[MyTrueColors]

Еще раз: для меня ключевым является мнение ридеров и жюри. Я никак не вмешиваюсь в их работу, если они взяли этот фик в шорт - я с ними соглашаюсь.

т.е. все выполняют сугубо техническую работу, понятно.

Более подробно объяснить ридерам, что и как они могут выбирать, в следующем году нужно определенно.

это очень приятная новость. Может, вы даже организуете пост или что-то вроде этого, где любой желающий может прийти и оставить идеи и какие-либо замечания?

[jetta-e]

Fenrira Grey, "если" получится 31 работа вместо 30 или "если" ридеры захотят рассказать отвергнутым о своих оценках - это гипотетические случаи. Проблемные, соглашусь.
Но в реальности-то получилось, что "точно" 135 неплохих авторов только одной, и очень сильной, номинации получили ничем не заслуженный, обидный и не ожидаемый ими молчаливый отказ. Потому что, повторюсь, всеобщей установкой и ожиданием было другое - "ридеры отсеивают шлак", и, к сожалению, организаторы не сделали ничего, чтобы заранее (и что было бы логично, в правилах!) разъяснить иное.

[Fenrira Grey]

aleks-neko,
Не исключено.

jetta-e,
Я могу понять, почему это обидно, но не могу - почему не ожидаемо. Какое-то количество авторов в любом случае не сможет пройти в шорт.
Повторюсь, в правилах невозможно прописать точные цифры.
135 это много, но как увеличить шорт на сопоставимо большую цифру, не меняя при этом конкурс кардинально, я, к сожалению, не вижу.

[MyTrueColors]

135 это много, но как увеличить шорт на сопоставимо большую цифру, не меняя при этом конкурс кардинально, я, к сожалению, не вижу.

я не вижу проблемы прописать в правилах (не сейчас, конечно), что корректировку количества работ в шорте орги могут проводить по необходимости. Т.е. формально те самые 30% остаются, но при этом есть возможность увеличить количество работ в номинации, если такое необходимо. Это кмк не самое сложное и на конкурс в целом такое изменение никак не повлияет, вот вообще.

Сложное как раз то самое, чтобы заставить ту систему, что есть, работать именно правильно.

На выходе к жюри не должно выходить того, что мы видим в шорт-листе аниме-номинации, я именно про фикбук говорю, а не про работы среднего уровня. А вышло так, что теперь все задаются вопросами, как так выходит, что ридеры не знают правил на основании которых они могут решать о прохождении и не прохождении фиков, что возможно они не читают номинацию и т.д

[jetta-e]

Fenrira Grey, "какое то количество" - да. 80% - пожалуй, это чересчур и никак не ожидаемо Или к этому надо готовить людей предварительно.
Может, у нас в этом году ещё есть шанс увеличить хотя бы шорт гетоджена? Задайте вопрос остальным судьям, согласны ли они оценить на 10 фиков больше, пожалуйста. Что до меня, я за.

Что касается изменений конкурса - безусловно, в консерватории стоит что-то поменять, и если вы захотите обсудить это после того, как все закончится в этом году, я с удовольствием выскажу свои предположения.

[Enola_hey]

Fenrira Grey,

для меня ключевым является мнение ридеров и жюри. Я никак не вмешиваюсь в их работу, если они взяли этот фик в шорт - я с ними соглашаюсь.

Но если

По задумке шорт-листы это не "вся номинация минус слабые работы", это - "сильные работы номинации"

, а в шорт-листе внезапно оказывается откровенно слабый фик при том, что сильные остаются за бортом, может, что-то неправильно в такой задумке? Если ты выдаешь карт-бланш ридерам, логично выдать им... эээ... с учетом того, что произошло и человеческого фактора... чуть меньше доверия? то есть для начала попросить отсеить откровенный шлак и потом уже выбирать из оставшегося лучшие работы? тогда в системе, где ты на этом этапе только улыбаешься и машешь, есть хоть какой-то предохранитель.
Может, конечно, я слишком хорошо думаю о ридерах, например, что они читают свою номинацию и/или смогут отличить качественную работу от беспомощного фикбука ))

[darkmorgana~]

Если ты выдаешь карт-бланш ридерам, логично выдать им... эээ... с учетом того, что произошло и человеческого фактора... чуть меньше доверия?

Перевожу: доверие или здравый смысл?

[Enola_hey]

darkmorgana~,

Перевожу: доверие или здравый смысл?

Спасибо. Я немного растерялась

[Fenrira Grey]

aleks-neko,

корректировку количества работ в шорте орги могут проводить по необходимости

И это не снова не даст никакого представления о размере шорта. Даже 30% это не правило, например в играх шорт состоит из 50% номинации.
Ридерам объясняется, что они могут делать, количество взаимодействия не оговаривается никак.

jetta-e,
В этом году во всех номинациях появится только донабор (если жюри будет его делать), ридерские шорт-листы уже сформированы.
Послушать предложения по поводу следующего года, когда завершится этот конкурс, я никогда не против.

Enola_hey, darkmorgana~,
Ридеры - единственные три человека, прочитавшие всю номинацию и имеющие представление о качестве всех работ и общем уровне. Так что на мой взгляд логично как раз доверять им.

[Chirsine]

Fenrira Grey
Хотелось бы прояснить пару моментов по ответам к другим участникам дискуссии.

для меня ключевым является мнение ридеров и жюри
Уточните, пожалуйста: мнение ридеров и жюри ключевое только в переделах их номинации? То есть, например, если два наиболее спорных фика из номинации аниме согласятся оценить ридеры из другой номинации (на минимальное соответствие шорт-листу и качеству "сильные работы номинации" ), это мнение будет считаться?

Не исключено.
То есть, какие-то изменения в правилах (обсуждение изменений) ожидаются? Например, более четко и формально расписанные права/обязанности ридеров и жюри.

члены жюри смогут прочесть и оценить за имеющееся время
Если время – единственное, что влияет на количество отобранных (по умолчанию – качественных) работ, возможно, стоит изменить сроки, при условии, что члены жюри согласны читать больше? В последние годы дата окончания приема и, соответственно, отсчет начала голосований для ридеров и жюри привязывались к квестам ФБ.
Например, в этом году их порядок изменился и тот же ББ-квест, с которого на РСИИ выкладывается много работ, прошел раньше. Это, конечно, больше был жест доброй воли, и организаторы РСИИ так шли навстречу участникам. Но если, например, начать отбор чуть раньше и закрыть его на нынешних сроках ББ-квеста, это даст большую фору и ридерам и жюри для оценки и обсуждения.

Дальше, грубо говоря, есть несколько вариантов развития событий:
А какой из вариантов был в этом году в аниме-номинации (если это, конечно, уже подлежит разглашению)? Хотя бы в общих чертах.

[darkmorgana~]

Fenrira Grey,

Так что на мой взгляд логично как раз доверять им.

Нет, это не логично, учитывая иные факторы кроме "прочитал все".
Есть ли хоть что-то, что может твое доверие разрушить?

[MyTrueColors]

И это не снова не даст никакого представления о размере шорта.

как ты пишешь -

Все решается отдельно для каждого конкретного случая.

что тебе мешает сделать так?
и да, не вижу, в чем именно поменяется конкурс? В том, что появится какие-то более менее вменяемые цифы, что появится возможность увеличивать шорт при согласовании этой необходимости с оргом?

Ну да, работы организаторской увеличится, но если у тебя нет ни времени, ни сил с этим разбираться, может стоит задуматься о помощнике или соорганизаторе, который сможет решать подобные вопросы.

Ридеры - единственные три человека, прочитавшие всю номинацию и имеющие представление о качестве всех работ и общем уровне. Так что на мой взгляд логично как раз доверять им.

Но, тогда скажи мне, что тогда делать читателям и вообще участникам, если они не согласны с наличием фибука, который определяется с пяти абзацев?
Есть ли какая-то возможность для того, чтобы заявить о "некомпетентности" ридеров? Или это не должно поднимать никаких вопросов и никто не должен возмущаться подобным развитием событий.

[Enola_hey]

Fenrira Grey,

Ридеры - единственные три человека, прочитавшие всю номинацию и имеющие представление о качестве всех работ и общем уровне. Так что на мой взгляд логично как раз доверять им.

Ну я понимаю, почему ты исходишь из вотума доверия ридерам, так проще, но ведь вот это все, что щас произошло, показало, что доверять не логично
Судя по всему, ридеры номинацию таки не прочитали, что выбивает фундамент из-под твоего "логично"
Ну то есть это я хорошо думаю о людях, когда исхожу из того, что Тайфун попал в шорт потому что ридеры не прочитали номинацию, а не потому что прочитали и сочли такой текст достойным шорта при прочих, которые были в номинации.

[Enola_hey]

Вообще, если основное мерило доверия для ридеров - "прочитал все", то понятно, почему у Хьюстона проблемы )))

[darkmorgana~]

Enola_hey,

Вообще, если основное мерило доверия для ридеров - "прочитал все", то понятно, почему у Хьюстона проблемы )))

Основное мерило того, что сейчас происходит - это то, что у орга нет желания организовывать пересмотр номинации, поскольку это требует активных действий в очень короткие сроки до Слэшкона. И не могу сказать, что не понимаю Фенриру - мне тоже было бы лень, например, искать людей, согласных ридерствовать в скандальной номинации, да еще очень-очень быстро, или уговаривать судей читать все.

[Аурум]

darkmorgana~, вся номинация - не выход. Можно собрать кворум из ридеров и жюри других номинаций или найти трёх человек со стороны (если такие остались), которые прочтут не весь лонг-лист, а именно спорные работы. То есть те, которые попали в шорт по ОЧЕНЬ странному стечению обстоятельств, как злополучный Тайфун или Слон, и те, которые в шорт по тому же стечению обстоятельств не попали - Лавинщик, Повесть, Водоворот, что-то ещё - думаю, если создать соответствующий пост - сочувствующие определят, скажем, топ-десять.