分论坛 > 总部 > 新闻动态
关于计算机领域论文评价的一些思考
2008-01-14 阅读量:1023 小字

清华大学计算机系  林闯

非常高兴有机会和在座的年轻朋友交流。我把我们系这几年抓论文的情况给大家做一个汇报,从正面回答这个问题,而不想就这个事件来回答这个问题。这个事件对于我们系的影响还是比较小的,我们对那个看的不是很重。

这几年我们系,对学术问题和论文问题抓得比较紧。举一个例子,06年清华大学计算机系发表了947篇论文,国际会议论文大约有450多篇。针对去年的情况,我们和美国的学校进行了一下比较,总体来讲,我们的数量、质量不比他们弱。但是,我们人均比他们差,因为国内的计算机系一般来说和世界上的系比算是大的,所以,从人均数还是不行,但是从总量,我们现在还是可以的。从国际查找影响来讲,清华计算机系这个学科,在世界的影响可以排到第28位。这是由于我们学校非常重视,如何在2011年步入世界一流大学,所以对于这些问题还是有所考虑。我只是把情况介绍一下,下面我回到我这个报告。

这个报告是我和陈老师一起组的事,因为他下一步要做这个事,所以这样对下一步的工作有好处。主要想讲4个问题,第一,真正的论文评价不是那么简单的事情,是仁者见仁、智者见智的事情。第二个,我认为从计算机科学来讲,会议论文是非常重要的,所以是不是SCI,这个对于我们来说,并不是十分重要的事情。第三个,评价度量怎么来看。最后讲一下我们现在想采用的办法。

第一个问题,我们认为是很复杂的事情,从计算机领域来讲,这个领域有它的特殊性,因为它是以信息为课题。在我们国家,基本上是58年建立了计算机专业和计算机系,计算机科学又是一个交叉的学科,它是从数理和工程技术交叉出来的。它还有一个发展的过程,大家都很清楚,从摩尔定律发展得是非常快的。现在在北京,年轻人不会开车、不会外语、不会计算机,你基本是残废,找对象都很困难。所以,这个是一个基础学科。随着这样的特点,就造成了论文的评价多样化和复杂化。因为计算机系统和网络都属于人造行为,所以有很多新的现象、新的规律亟待组织,没有传统的支撑。所以,你这个东西好、对,还是怎么样,很多的时候没有唯一的因素。

历来在计算机学科有很大的争论,就是学术和工程。到底孰重孰轻?热点不断。还有最近几年,国内的学生、论文的数量都在攀升,我们现在国内有783个计算机专业,有多少的学生?有多少人要写论文?这个是非常庞大的数量,不断地攀升,造成了国内外的论文评价组织也不断地庞大。所以,要真正给出一个好的评价,还是挺难的。所以,我想先把这个复杂性跟大伙作一个简单的介绍。我认为这是一个重要的工作,也是一个困难的工作。它的重要性体现在,我认为学术论文实际上就是学术影响,那么它对一个单位的声誉和影响是很深刻的、很广泛的。拿我们国家来讲,我们国家现在“十一五”规划强调创新,强调的是以企业为重点创新,换句话说,学校、科研单位创新的重点在什么地方?我个人的体会,学术上是重要的一个方面,而不是你这个学校、这个系、这个研究所,今天拿到多少钱,有钱了大伙当然很高兴,但是学术创新是很重要的,我们这几年也是这么做的。所以,我认为它非常重要,关系到声誉和影响。关系到学科的建设和评估。我们知道现在国内是爱评估的,一级学科评估完了二级学科,二级学科评估完了又是教学评估,没完没了。但是,论文的工作又是一个很重要的工作,当然我们不是说为了评估而评估,但是和你的学科建设有很大的关系。一个论文的评价好不好,会造成你的这个单位的政治和工作导向,你的导向不好,会使得工作很难开展。所以,这是一个非常重要的事情。

它的复杂性体现在,因为计算机领域,包含了很多的学科和研究方向。比如说我们现在所讲的,我们计算机学科一般包含了三个二级学科,体系结构、软件和理论、应用,二级学科下面又有若干个研究方向,你怎么样在一个单位评估?你要造成这些领域的发展和你学科往哪个方向引导的问题。所以,这里面又有一个不同的体系和评价标准,因为这个学科说这个重要,那个学科说这个重要,到底怎么平衡?不能说每个学科来一个,这不是一个办法。论文评价的困难性在于,评价的主、客观因素很多,现在没有一个统一的标准。我相信,将来也很难有一个统一的标准,只有一个适合你、符合你单位,符合你这样学科发展的模式,所以,这是一个重要的问题。另外,对于学术论文的评价,本事就是一个不断思考、不断认识、不断完善的事情。所以,从这些方面来讲,这个工作是一个复杂的工作,是一个困难的工作,是一个不断完善的工作。

第二个问题,我们认为在计算机领域会议论文是非常重要的。引用一下戴维·帕普森(音译)发表的报告,他们说会议论文和期刊论文有不同的特性,第一个是出版时间比较短,一般7个月左右,而期刊论文一般是12年,甚至到5年、8年的。比如说我有一篇文章,他00年同意发表,05年才出版,这是5年。所以,时间长短是很重要的因素,计算机的发展很快,等你出来的时候黄花菜都凉了就不好了。计算机论文可以给人一个交流思想、思想碰撞很好的机会。会议论文的评审也是非常严格的,往往比期刊论文评审严格,往往是45个人来评审,而期刊论文在国内往往是23个人,甚至有的每年开一次的国际会议的论文10个人评审。所以,从这些角度来说,我们搞计算机的,不重视会议论文是不应该的。管它是SCI还是BI或者是什么I,我的主张就是,实际上跟我们投资股票一样,要价值投资,而不是要炒作,这是很重要的。

论文的意义在于学术和工程的价值。不能说就你发表的论文而如何如何,关键是它有没有价值,这个是我考察得比较多的。对于价值的判断标准有客观和主观的,我们认为是这样的。比如说客观的,现在看在工程实践这个环节,它确实有指导意义,这是非常重要的。第二个,当然我们也要看引用事实,比如说很多的引用。第三个,看会议的录用率。第四个看参加人数和出席者的重要程度。所以,我们想客观标准,可以从这四个方面去想一想。综合起来,我觉得这是一个很客观的要素。那么主观的标准,也是有影响的。比如说有影响力的同行的评价,那就了不得了。举一个例子,王小云的论文,一炮打响,就是在Conference上,为什么获得了奖?就是因为有几个人说好。还有关于会议的Rank,这个Rank当然是人给的,但是人给的也反映了一定的价值,所以从主、客观的标准来讲,我们非常重视这样的问题。

另外引用,我们认为引用是良好的体现。在我们国内评各种自然奖,对于引用是看得比较重。我们认为,SCI的引用因子是对期刊良好的评价,特别是它表达了论文的影响力,这里举了一些例子。当然,这些例子只是说比较好的论文影响力,这里举了5个,这里的论文对于我们大多数人来讲很难碰到。从目前来看,真正影响因子大于1的,在计算机这里面,大于1的只有40%。所以,如果引用文影响因子能大于1,我认为在我们计算机系就不错了。当然,你0.99也是不错的,但是大于1这从数量来说,能说明一些问题。那么SCI的录用和引用,它的缺陷在于不收集会议论文。刚才我们讲了会议论文很重要,很多的会议论文是ACMIEEEUSENIXIFIP主办的,它不发表在LNCS上。因为我也是IFIP的代表,所以我知道它多数不往那上面发表。所以,我们把这个事情看得比较轻。

还有在我们来讲,如何探索会议论文的评价标准是非常有意义的工作。如果能把会议论文和期刊论文一起来综合评价,当然意义就更大一些,因为我们发表论文无外乎这两个方面。如果可以一起评价,就可以适当照顾各个方面,可以适当地公平。

Citeseer的排名,它是专门混合会议和期刊的排名,可以用会议和期刊对比。而且计算,它是严格的计算,算得比较标准。那么它的影响因子,超过1的就剩23%多一点,它的引用因子超过1的也非常少,所以我们觉得1个数字还是挺大的,要比0大得多。现在Citeseer的点是这样的,这个数据是2003年统计的,新的会议和期刊没有列入。有一些好的会议也没有列入,现有的会议和期刊的数据也没有更新。另外,还有一些错误,这是它的我缺陷。但是,总的来讲,我们认为它提供了一种论文影响力的客观评价方法,可以作为某种参考。

会议论文的录用率,我们认为是一个很重要的事情,是评价一个会议质量的指标,但不是最重要和唯一的指标。拿清华大学来讲,会议论文录用率小于30%的,我们信息科学院可以给予一定的支持,支持同学们参加会议论文评比。但是,我们认为这种东西只可以作为一种指标的参考,因为好的会议录用率也比较高。水平一般的,他不敢投了,所以这个录用率充当分母的少了,自然录用率可能比较高,但是会议还是很好的。所以,这个东西不能作为唯一的标准,我引用了一段,也是戴维·帕普森讲的,他说好的会议有可能录用率较高,但是有的时候也损害了一些新观点论文的发表,因为它往往同意的人比较少,不能在这个会议上发表。总体来讲,根据国外的经验和我们的看法,一般的会议,应该说能达到17%18%30%,这个会议都是比较可取的会议。我们主张同学老师,多投一些这样的会议,这是我的看法。

刚才都是客观的标准,我们认为主观的标准非常重要。往往我们现在国内的评奖,或者是在我们国内的评价当中,有大人物,有权威的人物帮你说明,你就会好一点。当然,有一些人说话还是比较客观的,比较好的,所以,被同行承认应该是影响力的表现,应该是好事。虽然你的引用率不同,但是不同人说的话,会对这些情况,有一个效用,所以主观标准和客观标准融合在一起看,会好一些。缺点就是,自己操作或者是他人操作的东西不够客观,有一些内容别人难以认同,因为别人说你好和坏,这是难以验证清楚的,所以这也是很难的地方。

下面说一下排名的问题,一个是新加坡国立大学给出了会议的排名,这里也有网址,可以看一下。它的排名是会议排名,分为4级。Rank1Rank2Rank3Unsanked。有一些标准不是说单位使用就好,当然可以参照这些标准。它的排名里面分了很多的领域,我们系是采用一种综合评价方法,以引用为主要因素,主观排名为辅助因素。综合SCI引用因子和CiteseerNUS会议分级,综合这几个东西。我们的原则是这样的,不易确定的向下评级。什么意思呢?实际上一个单位发表了多少篇文章不重要,发表了多少有影响的论文是重要的。哪怕你在拉丁期刊上发表了100篇文章,不如在一个非常有影响的会议上或者是期刊上发表一篇论文。所以,我们系特别强调,有突破性、创新性的东西,才是最可贵的东西。一般的东西,当然可以做一个积分,但是那并不重要,我们是宁缺毋滥。就是你不易确定的,我们往下评。而且,我们这几个评级,都要达到一定的标准,不能说就某一个参照物达到了标准就是达到了标准,都达到标准比较好,举一个例子。CIKM,在新加坡的国立大学排名定为一级,但是在Citeseer的引用仅为0.73,我们还是定为二级。所以,这些东西是要有一个综合的评价。

部分会议的影响因子,我列了一下,部分二级会议的影响因子也列了一下。我们一般定级是,论文分成三级,一级是SCI引用因子如果大于1,并且Citeseer大于1.4,那个是Rank1,我们就认为是一级。二级是SCI引用因子大于0.7,这是一个对照。

总的来说,计算机领域,论文评价包括不同学科方向的特点,是一件重要而困难的工作,目前没有统一的标准。我们虽然提出了一个初步的综合评价方法,未来的工作还很多,需要不断地认识、不断地完善,进行细致地调整和咨询,进一步研究这些参照当中的不一致的因素。我们想强调,从评价刊物、会议到评价论文本身,再到评价你那个学术的价值如何,这是很重要的。同样,你发表在相同期刊上,你那个没有人理,像陈景润,发表在国内的期刊上,但是国外对他的评价很大,这也是很有价值的。所以,我们强调价值回归,像我们投资股票一样,一定要强调不要炒作,尤其是论文问题,弄不好会造成了学风腐败,学术上不真实。所以,我们特别强调把价值观定好。

不同的评价方法,应该适应不同的情况。所以,我们的方法,仅供大伙参考。今天主要是给大伙汇报一下我们系里的工作。希望和在座的各位老师和精英们多交流,多向你们学习,谢谢大家!

(本文根据现场记录整理,未经讲者确认)

热门动态
2022-06-24
CCF YOCSEF学术委员会于2022年6月8日在北京西郊宾馆、深圳数据交易有限公司两个会场共同召开了题为“工业数据可信流通的关键技术”的闭门深度技术论坛,由北京双湃智安科技首席科学家陶耀东博士、北京交通大学教授金一、深圳数据交易有限公司副总经理王冠共同担任执行主席。会议邀请了24位来自数据交易、数据安全与管理、工业大数据、网络系统安全、大数据治理、隐私计算、数据空间等不同领域的企业代表、学术专家代表作为发言嘉宾出席论坛,从不同角度进行讨论和思辨,共同推动我国数据要素可信流通的快速发展和突破创新。
2017-10-31
2017年10月26日,CCF YOCSEF在福州海峡国际会展中心401会议室举行“鼓励科学家创业是压倒科研体系的最后一颗稻草吗?”论坛。论坛邀请了创业取得成功的科研人员,以及在科研管理、一线工作者等相关专家和学者,共同讨论是否应该鼓励科研人员创业,大家该如何面对创业这一命题,同时就如何能激发更多的优秀科研成果产业化、为产业助力进行探讨。
CCF聚焦