评判体系应该如何建立？

岚星

之前那个《论战：为什么投票比评分好》，最核心的问题转到这里讨论吧。因为：

1、那边的标题就太具倾向性。

2、那里的讨论已经太乱，而且主要讨论的已经是“加权评分法”到底合不合理。（这个主题我会在那边继续下去，如果yincancook和keon愿意的话。）

＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝

本楼的核心主题是：

1、评判体系应该如何建立？

2、评委是否有义务，通过向观众和选手解释“我为什么这样评判”来获得“公信力”？如果有，如何保证评委能做到，而观众和选手也愿意接受？

＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝

评判体系，包括以下四种——如果有人提出新体系，我随时补充。

1、加权评分法：
每个评委对各环节分项打分，按环节权重，加权后得到该评委给双方各自的总分。
各评委给双方的得分分别相加，总分高的那一方获胜。

2、评分定票法：
每个评委对各环节分项打分，按环节权重，加权后得到该评委给双方各自的总分。（这一步和“加权评分法”一样）
各评委“严格”按照自己给双方打的分数，把自己的那一票投给得分高的一方。总得票数高的一方获胜。

3、参考评分的投票法（简称“评分投票法”）：
每个评委对各环节分项打分，按环节权重，加权后得到该评委给双方各自的总分。（这一步和“加权评分法”一样）
各评委参考自己的评分结果之后，“自主判定”将票投给哪一方（换言之，自己给正方打的分高，但最后把票投给反方，这是被允许的）。总得票数高的一方获胜。

4、终局自由投票法（简称“自由投票法”）：
比赛过程中不进行评分。
比赛结束后，评委“自主判定”将票投给哪一方总得票数高的一方获胜。
（如果有评分表，则在“不改变投票结果”的前提下，自由填写评分表，以做“表面文章”）

岚星

我的观点很明确：一个好的评判体系，应该类似招投标中“评标”程序——从“阳光采购”到HR考评，从奥运会如跳水体操的评判到学术研究中数据的处理，这个程序在几乎所有强调“公正”的领域中被广泛采用，已经得到了大众的广泛认可。

如果觉得“招投标评标过程已经足够公正”（即不认为这个程序存在某个评委比其他评委获得了更高影响力），那我建议采用综合评分法——但必须使用经过科学设计的评分表。因为这时总分可以反映一支队伍水平的高低——比如高水平比赛的得分会更高些，而且也可以避免5位评委都觉得正方“略胜”，可结果却是5:0的尴尬。（即在公正性得到满意解的条件下，在其他方面追求更好的表现形式。）

如果觉得“即使是像招投标那样的评标程序，仍然‘不够’公正（存在某些评委获得了更高的影响力）”，那我建议选择评分定票法。毕竟“公正性”是首先要满足的。


而“评分投票法”和“自由投票法”，我认为不可取。因为：

1、评委如果失去“公信力”，则辩论赛将无法实现良性发展。

2、评委如果不能向观众和选手清楚地解释自己为什么如此评判，则无法获得“公信力”。

3、如果采用“评分投票法”和“自由投票法”，则评委无法向观众和选手清楚地解释自己评判的理由。而评分表可以显示出评委是如何“全面、平衡地考虑了评判辩论赛胜负应考虑的各项因素”

4、尤其是，如果先投票，再“伪造”评分表，一旦被观众识破，则“公信力”将彻底破灭。

[ 本帖最后由 岚星 于 2009-4-17 23:20 编辑 ]

岚星

经过良好设计的评分表可以解决很多直接投票无法解决的矛盾：

1、导向性：
直接投票可以成立的假设是：评委对于“什么是好的辩论表现，什么是好的辩手，怎么样做的辩论队更应该获胜”等问题有清晰正确的认识。而——恕我直言——绝大多数评委对这些问题的理解都是模糊甚至错误的。
（PS：我对“错误理解”的定义是：按这种理解去评判比赛，将引导辩论赛走向一个更加不受人待见的境地。）
而评分表不但可以明确地告诉评委：要从哪些方面评判比赛；而且可以告诉辩手“应该在哪些方面多下工夫”。反过来讲，哪些东西你做得再好也没用。
比如，当评分表中明确了“论据的真实性”成为评判要素时，“伪证”（辩手在场上伪造论据）现象在浙大已经基本绝迹。而当“合题性”成为评判要素后，浙大已经三年没有出现辩手通过“巧下定义”来打比赛的情况。这两大为众多老辩手深恶痛绝却无可奈何的顽疾，在目前的求是杯上已经荡然无存。


2、平衡性：
直接投票可以成立的另一假设是：评委会“综合地、平衡地”考虑诸如逻辑、表现力、对己方的论证情况、对对方的反驳情况、风度仪态、幽默感、论据充足恰当等等多种因素。而事实上，恐怕没有任何一个评委敢说自己能够对这么多方面进行综合平衡——如果没有一个评分表的话。
而评分表通过明确“评分维度”，对每个维度进行独立评判，由计算机合成总分，这无形中让评委“综合、平衡地”考察了各个方面。


3、客观性：
因为评委不能全面、平衡地考虑各个方面。因此评判时有的评委更欣赏华彩，有的更看重逻辑，有的更看重攻击性等等。而评委一共只有5－7位，于是胜负很大程度上被“评委的个人口味”所决定。于是最终结果往往造成观众不满意、辩手不认可。典型的是正方逻辑强，反方表演赞，于是当正方获胜时反方会骂评委“死板”，反方获胜时正方会骂评委“肤浅”。
而评分表明确了评分维度后，蛛网图可以明确显示出“正方的逻辑强，我们评委看到了；反方的表演赞，我们也加分了。”评委的客观公正性由此建立。


4、保护评委：
因为投票无法表现出“客观性”，也就无法建立评委的客观公正性，因此评委的评判往往大受质疑。而评委自己也无法明确说出“判X方胜”的原因——对双方势均力敌的比赛更是如此。事实上，某些辩论界顶级高校，校辩论赛中甚至出现评委被学生骂哭的情况，而评分表的设计使评委只须回答“为什么在这个子项上我给出这个分数”，而这个问题评委往往可以回答。
事实上，求是杯近三年使用评分表后，再未出现辩手在BBS上质疑评委的情况。甚至反过来，出现了评委主动发帖阐述自己的评判感受的事件。就在今年的求是杯第二轮，一场焦点之战以3194.3：3189.9判定正方获胜。裁判长点评时（当时分数尚未公布）坦言：“双方表现之接近，已经让所有评委觉得不知道应该判哪边获胜。幸亏胜负是由评分表统计得出。我相信，这是对本场比赛最客观公正的评判。”


5、公正性：
直接投票可以成立的第三个假设是：评委会“主观”公正地评判获胜方。但实际上，的确有少数黑哨的存在。事实上，再很多要求按评分表来评判胜负的比赛中，评委也往往是先定胜负再反填评分表。这进一步为黑哨留下了生存空间。
而在评分表下，评委只对评分子项打分，无法控制比赛结果——如果要强行控制，唯有把大量子项都拉开分差。而这样的评分表一旦公开，该评委的评分状况将被蛛网图完全曝光。

PS：很多高校为了“保护评委”（实际上怕下次请不到评委），往往不敢把评委的投票情况公开。这又进一步为黑哨留下了生存空间。而在浙大求是杯上，所有评分表全部公开，黑哨再无立足之地。

6、请评委不再是难事：
对很多主办方来说，请到“足够数量的、有足够水平的评委”是一件很痛苦的事——尤其在初赛阶段更是如此。
而使用评分表后，求是杯初赛8间教室40位评委（事实上，还有10位左右的后备评委，以防当值评委因故临时不能到场）可以轻松满足。
这是因为，每场比赛5位评委中只有一位老师（或未参加本届大赛的高年级辩手）担任裁判长——除要负责点评外，裁判长不享有任何评分方面的特权。其他4位是“大众评委”。大众评委由同学自愿报名，经主办方筛选和简单培训后即可上岗。
从近三年实施情况看，大众评委使用评分打出的评分与裁判长相比，不存在显著性差异——尽管大众评委基本都是大一或大二的学生。而观众和辩手也对他们的评判表示了认可——他们的评分表（含其真实身份）在网上完全公开。