论战：为什么投票比评分好

岚星

原帖由 keon 于 2009-4-16 01:26 发表
以岚星同学设计的case为例
3 3 4 4 4 = 18
5 5 3 3 3  = 19

如果每个数字是每位评委的总分，那明显下组的头两位评委对胜负的影响力大于其他评委，当这个数字乘以20的时候，这个影响更大。（我想yincancook是这个意思）

我也觉得他是这个意思。

所以我的观点是：如果连招投标这种级别的“评分”，这种程序都被认为很合理，那辩论赛似乎没有理由认为这样操作“有原则性错误”。:)

如果你为5个项目设立权重，那等于变相的强奸了裁判的判决，且若理工科强的浙大组织的比赛如果将推演、论据给与较高的权重，仍难免有作弊之嫌

所以这些权重，是根据辩论历史上约定的一些比例（只不过在那里不是给“权重”，而是直接设满分为30分或60分，所以会产生那些问题）。

我觉得，一套权重设计是否合理，关键在于按这套体系评价出的结果“能不能得到大众（观众＋辩手）的普遍认可”。

之所以认为直接投票不合适，也就是因为这种程序的结果经常受到质疑，严重损害了大专辩论赛的发展。

keon

容我也插一脚哈~

1.其实我基本不反对同岚星同学对环节和整体的分类，虽然我未必这么划分，但大致涵盖的东西是接近的。但这里的关键在于，每个环节的权重该是多少？是由主办方决定，还是应由裁判决定。如果一个裁判重论证轻辩驳，那么一份给辩驳较大权重的分纸，对这个裁判是否公平，能否有解决办法?

2.我不大理解为什么岚星同学非要把政策性辩论和非政策性辩论分开，许多非政策性辩论的题目，如“选择越多越幸福”“美是主管客观”“专才通才”之类，也是有大量实证可循的，甚至完全可以采用政策题的打法。且目前纯粹展示用的辩题已几乎看不到，基本上正反双方都会有足够的对立冲突点，你这条讲得空泛了点。

3.这点我同意，但关键在于，评委在评决出来之前都无法知道观众是否会认可，那么问题就来了，观众不认可怎么办？把评委炒了吗？

4,5.同意，没有意见，但影响力相等原则你之前也是同意的，不知道你现在还是否这样认为

岚星

原帖由 keon 于 2009-4-16 01:45 发表
另外，我很好奇你们讨论这个的目的，是在寻找一套放之四海皆准的辩论赛评定胜负的标准吗？

如果是的话，那么一个理想的标准，对于同一场辩论赛，应是即使更换5位其他符合资格的评委，也有极大的几率是相同的胜负结果，这应该是辩论赛胜负公信力的来源

单以此来看，我相信投票结果相同（或直接胜负相同）的几率远高于算小分，以上

不敢说“放之四海皆准”，但至少是“比较一致”。

我也同意你关于“公信力”来源的说法。而且补充一点：从浙大三年的实践来看，和“由直接投票得出胜负”相比，“由评分得出胜负”的公信力要强得多。而你那个“相信”，没有任何实证依据。

如果有人愿意，可以拿我们的评分系统在自己学校做个实验。如果能反馈给我结果，在下感激不尽。:)

keon

原帖由 岚星 于 2009-4-16 14:16 发表


事实证明，实施这种方法的高校（除非是纯打政策型辩论的），评判结果往往引来巨大争议。连评委被学生骂哭的情况都在一些国内辩论水平绝对顶级的高校上演。

浙大在采用投票法之前也是这样，但从改用评分法以来 ...

看能不能给个具体的例子，我不是很能理解往往引来巨大争议有多往往和多巨大，因为ms我几乎没见过这类情况出现...

然后就是评委的资格，你说评为要懂辩论，那么你觉得要懂到什么程度才算懂，稍稍极端一点，那么你是否认为毕业了的辩手是最理想的评委呢？

keon

原帖由 岚星 于 2009-4-16 14:34 发表


不敢说“放之四海皆准”，但至少是“比较一致”。

我也同意你关于“公信力”来源的说法。而且补充一点：从浙大三年的实践来看，和“由直接投票得出胜负”相比，“由评分得出胜负”的公信力要强得多。而你那个 ...

这个公信力的比较应该是横向的，即一场辩论赛辩论阶段的录像，给n组不同的评委看，用投票法，先看胜率，再看比分，然后计算N组评委评决的差异； 和另一场比赛录像，用打分法，看胜率，看小分，计算评决差异。这才是正确的比较办法，而不是你说的3年前和现在的纵向比较，我不相信你们有这样检验过。

岚星

原帖由 yincantcook 于 2009-4-16 10:15 发表



说些题外话，评判我当过不少次，有时候也发生“说不出为什么投票给某方”
原因很复杂，比如
1.双方都太废了，废的程度是，我不敢再回忆品尝烂苹果的过程
2.隔壁的评判太废了，偏偏自以为是，抢着发表意见，俺不敢打击他良好的自我感觉（虽然我不否认能够说服废人也是一种本事）

其实大部分时候，评判是不愿说，而不是说不出。:)

呵呵～恕我直言：没人跟你顶嘴的时候，你能说的出。如果有人跟你顶嘴呢？连名校赛之种级别的比赛上，都多次出现评委点评时辩手甚至教练直接顶嘴的情况，各高校内部的比赛咱就不用说了吧？最多是“学生不敢当面顶撞老师”而已。

比如你说判正方赢，是因为他们“立论更深”，那我当辩手就可以问一句：凭什么你只看立论谁更深？我们比对手说得更深入浅出你为什么看不到？

如果你说判正方胜是因为他们“在自由辩中取得了压倒性胜利”，那反方也可以问：其他环节我们都打得比对方好，你为什么不管？

如果你说“这些我也看到了”，那他可以再问：“那他的立论强，我的表达好，你凭什么判他赢？”你要怎么回答？

这不是无理取闹，而是在每次辩论赛后，各种bbs或其他场合大家都会争吵的事实！

浙大以前也是如此。

而现在，浙大的评委可以很明确的回答：你看我的评分表，你们表达好，所以这一块你们得分高过对手；对方逻辑更清晰，所以那一块他们赢了你。最后判他们胜，是综合评分的结果。

而在这个综合评分过程中，里克特量表保证了“评委可以说出自己为什么这一项打4分，而即不是3分也不是5分”，所以分差方面评委可以回答公众的质疑。权重系数参考了历史资料和大众心理，也得到了辩手的普遍认可。

而更重要的是，评判的最终结果事实上得到了观众和辩手的普遍接受——而投票制即使在全辩国辩也屡受质疑。

那么问题就很明显了：我们建立的评判体系，要不要面对公众质疑的时候能够取得公信力？如果不要，那一种不具备公信力的评判体系能不能引导辩论赛取得良好的发展？

keon

原帖由 岚星 于 2009-4-16 14:48 发表


所以我的观点是：如果连招投标这种级别的“评分”，这种程序都被认为很合理，那辩论赛似乎没有理由认为这样操作“有原则性错误”。:)

很难理解你居然不认为这是原则性错误，对下组的裁判A来说，分差小一分就可以影响比赛胜负了

岚星

原帖由 yincantcook 于 2009-4-16 11:41 发表



从目前的例子来看，岚星没有弄清楚一点，评判跟主办方的关系，不同于评标专家跟老板的关系。
评判结果跟主办方没有利益联系，评判不需考虑主办方的意志。甚至乎，评判需要对抗主办方的意志。
而评标结果跟老板有明确的利益关联，专家必须考虑老板的意志。

而从结果来说，投标考虑的是功能的符合程度，而辩论考虑的是能被多方面的受众接受。

这样的不同目的，显然不应该用同样的方案。

评判结果如果得不到观众的普遍认可，则观众会远离辩论赛。

评判结果如果得不到辩手的普遍认可，则辩手会骂主办方为什么请了这样的白痴当评委。

而主办方之所以举办辩论赛，就是希望观众都来看，就是希望辩手都能玩得high。而你却认为“评判结果跟主办方没有利益联系”！开什么玩笑？

至于“从结果来说，投标考虑的是功能的符合程度，而辩论考虑的是能被多方面的受众接受。”什么叫“功能的符合程度？工程部关注按期交货的可能性是多少，财务部关注价格如何，合同管理部关注这个供应商好不好打交道，质量部关注这个企业有没有通过ISO质量认证……

你说这是不是“被多方面的受众接受”？

原帖由 yincantcook 于 2009-4-16 10:53 发表
关于你的case,显然你在误导大家，欺负大家不熟悉商务。
评标都是专家给意见，并推荐若干候选人的，最后老板才有决定权的。
资料：
    评标委员会和评标方法暂行规定
          第四十五条 评标委员会推荐的中标候选人应当限定在一至三人，并标明排列顺序。

唉……不跟你说了，自己去找个做过公开招投标的问问吧……

如果事先商定“推荐一至三人为中标候选人”当然可以，但你却看看有没有敢把4-6位推荐上去的。


而且如果说评标和辩论赛评判有不同，那在于下面这一点：

在评标中，如果老板有权让得分低的中标（比如一些非公开招投标），那是因为老板对决策的最终结果承担全部责任。换句话说，这个选择带的亏损或盈利，他来承担。所以他最终决策，是合理的。

如果这个决策会影响员工，而老板仍然这么干，那就会被骂“暗箱操作”。当然，他可以选择被骂，然后继续这种操作来获得某些他更看重的利益。

而辩论赛的评委则不同：

1、承担决策结果的不是评委，而主要是辩手和观众。所以辩论赛的评委更有义务让自己的评判结果被辩手和观众普遍接受。

2、没有评委希望挨骂——你骂我，下次我就不来了。所以辩论赛的评判要比评标更“公开”。否则大伙都不来了，那辩论赛还发展个鬼？

所以，辩论赛规则的设计必须让观众、评委、辩手、主办方各方实现和谐平衡。而自由投票制恰恰无法实现——反而在破坏——这种和谐与平衡。

[ 本帖最后由 岚星 于 2009-4-16 15:15 编辑 ]

keon

原帖由 岚星 于 2009-4-16 15:09 发表


评判结果如果得不到观众的普遍认可，则观众会远离辩论赛。

评判结果如果得不到辩手的普遍认可，则辩手会骂主办方为什么请了这样的白痴当评委。

而主办方之所以举办辩论赛，就是希望观众都来看，就是希望辩 ...

其实我能理解你的苦心，但是确实也只能表示理解

你要的是热热闹闹、一团和气、众人皆服的辩论赛，而我要的只是辩论赛而已

是因为你认为你们学校、甚至乎国内的辩论圈都有许多不理解不和谐的情况

而这些种种情况对身处香港的我基本没有遇到过

我04年打辩论，大大小小比赛经历也不少，但评决争议很大的比赛不会超过3场

我们最近争论比较多的是评判资格的问题，尤其是是否应该让前辩手担任港台赛评委的问题，而不是怎么评分的问题

或许你认为我理想化，但事实是理想化的规则在我们这里运行10年情况良好，暂时看不到有改动的需要

[ 本帖最后由 keon 于 2009-4-16 15:25 编辑 ]

yincantcook

有三场这么多吗，印象中，在香港，有大争议的一场都没有。
如果你加上外战倒是有些可能

yincantcook

当然经常有人输了比赛，大喊评判不公。这种心情我很理解，每年都要帮港台摆平一两次的

keon

事实上回顾我参加的比赛，唯一是打分制的就是第十届名校杯而已
那年初赛对复旦，几百分总分的评决，最后好像1小分赢了，那次我知道争议很大
之后半决赛赢和决赛输基本都无悬念
03年的国辩，记分制，决赛中大1小分赢世新，我知道许多人觉得世新被黑了

大比分赢的情况不提也罢，投票也会是同样的结果
但是以我的经验，许多比赛别说辩手，就算是裁判也说不清谁赢
就像当年对复旦那场，判谁赢我觉得都不奇怪，完全看运气
我觉得几百分的小分，结果1分之差的输赢
往往比3:2的输赢更让人觉得有黑幕和无法接受
典型如03年中大对世新

岚星

原帖由 keon 于 2009-4-16 14:28 发表



容我也插一脚哈~

1.其实我基本不反对同岚星同学对环节和整体的分类，虽然我未必这么划分，但大致涵盖的东西是接近的。但这里的关键在于，每个环节的权重该是多少？是由主办方决定，还是应由裁判决定。如果一个裁判重论证轻辩驳，那么一份给辩驳较大权重的分纸，对这个裁判是否公平，能否有解决办法?

欢迎欢迎！大家一起讨论才好嘛～

关于每个环节的权重，目前浙大的设计是：

陈词＝3；自由对话＝2；攻辩（正攻反守）＝攻辩（反攻正守）＝1；中场小结＝3；自由辩论＝6；回答观众提问＝3；结辩＝3；整体＝10

这个权重系数参考了历届大专辩论赛的权重设计，也得到了目前浙大辩手和评委的认可。你可以看看，是否觉得有什么不恰当的地方。

至于你说的“是否公平”问题，我的回答是：凭什么他有权力把论证看得比辩驳重？换言之：一个评委有没有权力让自己的偏好凌驾于观众和辩手的“主观普遍性”之上？我认为，没有。

原帖由 keon 于 2009-4-16 14:28 发表

2.我不大理解为什么岚星同学非要把政策性辩论和非政策性辩论分开，许多非政策性辩论的题目，如“选择越多越幸福”“美是主管客观”“专才通才”之类，也是有大量实证可循的，甚至完全可以采用政策题的打法。且目前纯粹展示用的辩题已几乎看不到，基本上正反双方都会有足够的对立冲突点，你这条讲得空泛了点。

两者的区别在于，政策型辩论以“形成决策”为目的，所以它才会把评判核心定为“说服力”。

而非政策型辩论不以“形成决策”为目的（比如“美是主观客观”对应什么决策？），而是以“加深对问题的认识”为目的。所以它的核心评判点是“谁把自己观点背后的道理展示得更清楚明晰”。

所以，在政策型辩论中是“如果听完你的话，我不觉得被你说服，那你讲得再好也没用”；非政策型辩论讲的是“虽然我没有被你说服，但我觉得你讲得的确比对方好”。

这就是两者的评判体系可以——而且应该——不一样的原因。

原帖由 keon 于 2009-4-16 14:28 发表

3.这点我同意，但关键在于，评委在评决出来之前都无法知道观众是否会认可，那么问题就来了，观众不认可怎么办？把评委炒了吗？

所以说，我不认为可能建立一套“绝对可以在事先预知观众是否认可”的评判体系——奥运会体操比赛那么明细的规则，一样出现聂莫夫事件。

关键在于，评委如果面对公众的质疑，他能不能给出让人觉得可以接受的理由。

我在66楼里就说明了，投票制下，评委没法说明自己的理由。而评分制下，评委可以。

尤其要提一点的，就是为什么之前会讨论很多“里克特量表”的东西，就是因为“如果满分是5-7分，答卷人是可以明确回答自己为什么打4分而不是3分也不是5分”这种问题的——而且这种回答一般来说能达成主观普遍性的认可。但如果满分30分甚至100分，那要是追问：“为什么你这里打77，而不是76或78？”那没什么人能答得出来，就算答出来了，这个“尺度”也无法得到主观普遍性的承认。

原帖由 keon 于 2009-4-16 14:28 发表

4,5.同意，没有意见，但影响力相等原则你之前也是同意的，不知道你现在还是否这样认为

我在46楼里已经说得非常明确了：
“每个评判对结果的影响‘不必’绝对相同，只要和评标方法中的规则一样就可以了。”

我之前认可“影响力相同原则”，是认为“评标方法中的规则就满足了影响力相同（因为没有任何一位评标专家的评分在加总时给予了超过他人的权重）”。既然yincancook不认同这一点，那我也就不认可“在他的概念定义下的‘影响力相同原则’”。

原因很简单：

我认为：评委直接评判的不是“胜负”，而是“双方的表现”，而面对同样客观的“表现”，不同人给出不同的“评价”是正常的。

举个例子：

如果一项研究，想判断A、B两家企业谁的企业文化更让员工有“家”的感觉，可能会这样做：

让5位曾经在两家公司各自工作过一段时间的员工，分别对一些题目打分。假设其中一题“你的领导经常在你的生活方面给予你帮助吗？”的得分是这样：
A：3、3、4、4、4
B：5、5、3、3、3
那么，在数据处理的环节，研究者会说A在这个题目上的得分是（3+3+4+4+4）/5＝3.6；而B是3.8。

这个时候，没有人会认为这种评分是不合理的。甚至更进一步，真实研究中允许“A公司的人填写A公司的问卷，B公司的人填写B公司的问卷”——即得出A公司得分3.6的人，和得出B公司得分3.8的人，并不是同一群人！

keon

原帖由 yincantcook 于 2009-4-16 15:39 发表
有三场这么多吗，印象中，在香港，有大争议的一场都没有。
如果你加上外战倒是有些可能

留点buffer而已...

yincantcook

其实03半决赛，马大对世新才是问题。
马大赢票（据说是4：1），世新赢分，就是有人以一己之力保送的

岚星

原帖由 keon 于 2009-4-16 14:35 发表

看能不能给个具体的例子，我不是很能理解往往引来巨大争议有多往往和多巨大，因为ms我几乎没见过这类情况出现...

以下引自《七年之痒——反思武大“唇舌烽火”辩论赛》一文：

谈到为什么不能把评委的评判过程放置在一个所有人都看得见的平台上的问题时，主办方负责人杨怡静也显得颇为委屈和无奈，“我也知道拿到一个明白的结果比输得不明不白好的多。但是评委老师的立场谁又有过考虑呢？每一年都会出现评委因为判某一方输而遭到谩骂和攻击的现象。这样下去哪个老师还愿意过来给你做评委呢？”在唇舌烽火辩论赛的历史上也确实出现过有做评委的女老师被判输的一方辱骂后，一路哭着回家，然后愤然给学生会大电话表示再也不会当评委了的事情出现。

我不敢肯定这种情况在其他高校是否出现，但“比赛之后，在BBS上骂评委傻X，输了不服气的辩手出来叫嚣”的事情几乎在我见过的所有高校中都会出现。

前两年（忘了哪一年），上海名校赛的现场就出现评委正在点评，辩手和教练已经开始顶撞的情况。

我不知道你那边是什么情况。但在浙大，05年之前的投票制也是如此，而现在已经完全没有了——所有评委的评分表都在网上供选手观众公开下载。我相信如果不选择评分制，没有几所学校敢这么干。

原帖由 keon 于 2009-4-16 14:35 发表

然后就是评委的资格，你说评为要懂辩论，那么你觉得要懂到什么程度才算懂，稍稍极端一点，那么你是否认为毕业了的辩手是最理想的评委呢？

不用太懂。浙大的评分体系中，每场比赛只有一个老师，其他4位评委都是大一大二的学生，很多根本没有打过辩论赛。

当好评委只有一个要求：知道“辩论赛就像两位老师同时给学生上课，然后学生评判哪位老师讲课讲得好”。而我们都当了至少12年学生，对“什么样的老师讲课叫‘好’”都有个明确而且基本一致的观点。

而当评委以这个态度去评判比赛的时候，就有了后一句话：老师讲得好不好，学生拥有最终、最高的评判权。所以辩手说得好不好，持这种态度的评委（学生）拥有最终、最高的评判权。

keon

至于你说的“是否公平”问题，我的回答是：凭什么他有权力把论证看得比辩驳重？换言之：一个评委有没有权力让自己的偏好凌驾于观众和辩手的“主观普遍性”之上？我认为，没有。

首先我不会认为观众和辩手怎么想应该凌驾评委
其次我不认为你有足够的sample证明主观普遍性确实存在
最后如果主观普遍性确实存在，我也会努力破坏之，千篇一律的、缺乏地方特色的辩论赛是最无聊的
马来亚、新加坡、台湾、大陆、香港，各地举办的比赛体现各地对辩论的理解和风格才有趣

而非政策型辩论不以“形成决策”为目的（比如“美是主观客观”对应什么决策？），而是以“加深对问题的认识”为目的。所以它的核心评判点是“谁把自己观点背后的道理展示得更清楚明晰”。

与其说形成决策，不如说清晰的判断出对错，现在的辩题设计基本都是非此即彼的，政策题永远只有应该实施或是不应该实施，美永远只有是主观或是客观，这类变题说服力永远是第一位

尤其要提一点的，就是为什么之前会讨论很多“里克特量表”的东西，就是因为“如果满分是5-7分，答卷人是可以明确回答自己为什么打4分而不是3分也不是 5分”这种问题的——而且这种回答一般来说能达成主观普遍性的认可。但如果满分30分甚至100分，那要是追问：“为什么你这里打77，而不是76或 78？”那没什么人能答得出来，就算答出来了，这个“尺度”也无法得到主观普遍性的承认。

其实这里不是裁判解释不出来，而使观众未必能接受这个解释的问题，而且我不认为你在社会上请的评委能够清晰的解释为什么给4分，因为这意味着他必须同时回答——他认为这个小环节里5分应该是如何如何的，这类问题1万个辩手都可能有5000种解释，何况社会人士

A：3、3、4、4、4
B：5、5、3、3、3

很难理解你居然不认为这是原则性错误，对下组的裁判A B来说，分差小一分就可以影响比赛胜负了，何况现实中的评分表往往把这个数字放大20倍

岚星

原帖由 keon 于 2009-4-16 14:41 发表
这个公信力的比较应该是横向的，即一场辩论赛辩论阶段的录像，给n组不同的评委看，用投票法，先看胜率，再看比分，然后计算N组评委评决的差异； 和另一场比赛录像，用打分法，看胜率，看小分，计算评决差异。这才是正确的比较办法，而不是你说的3年前和现在的纵向比较，我不相信你们有这样检验过。

对，按严格程序的确应该如此。只不过这个实验的成本太高……

所以我觉得另一种比较方法可能更合适：

假设有两组高校，一组的校赛统一采用评分法（当然，评分表是统一的，并经过严格设计），另一组统一采用投票法。然后看比赛后观众和辩手的反应。将这两者做一个统计相关性分析。

只不过，目前经过严格设计的评分表似乎只有浙大这个版本（其他高校可能有，但似乎没有公开出来）。所以我也希望其他高校能也一起来试试。

在此之前，我只能做case study。:)

keon

前两年（忘了哪一年），上海名校赛的现场就出现评委正在点评，辩手和教练已经开始顶撞的情况。

名校杯ms是打分的

浙大的评分体系中，每场比赛只有一个老师，其他4位评委都是大一大二的学生，很多根本没有打过辩论赛

晕...说不好听点你别介意，要是我在场上看到台下的评判都是些大一大二的小p孩，我直接弃权，这是对我的侮辱。我不需要评判是专家，可是大一大二的学生对贫困、平等、民主、自由、财富、秩序、制度、法律、经济、哲学等等中的任何一项有基本的认识吗，我不认为只读过人教版高中政治历史书的小孩对以上种种有起码的认识。

岚星

原帖由 keon 于 2009-4-16 15:08 发表


很难理解你居然不认为这是原则性错误，对下组的裁判A来说，分差小一分就可以影响比赛胜负了

哦……可能你没看清我那个例子……

是5个评委，分别给A、B两家打分。而不是裁判A、B……

而且计分的时候，也不是听完比赛打总分。还是那句话，建议去看看我发的评分表。:)

还要补充一句：

如果担心这种偏差，可以采用“评分定票法”。这样在我那个例子中是3：2，A胜出。这就严格满足了“每个评委对结果的影响是一致的”。

而我反对yincancook的核心不在这里，而是在“如果自己在评分表上给A打了高分，评委是否仍然有权把票投给B”。（可以参考他在41楼的发言。）

我认为，如果这样，评委就会“说不清”，公信力也就无从谈起了。