--
--



第一章综合评价研究综述


评价就是指明确目标测定对象的属性，并把它变成主观效用的行为，即明确价值的过程。评价可分为终结性评价和过程性评价。终结性评价一般是指对结果的评价，其目的是评价行动在多大程度上得到预期效果，为下一步行动提供决策依据。过程性评价的目的是揭示行动过程中存在的问题，以促进过程的改进。决策型评价模式的创立者斯塔弗尔比姆认为：方案评价的最重要的目的不是证明，而是改进。所以现代评价工作更重视过程性评价。

评价对象是指被评价其价值的对象。对评价对象进行价值判断并给出评价结论者称为评价者。评价的指标可能是单个，也可能是多个。当评价指标为单个时采用的方法比较简单；当评价指标为多个时，需要研究和讨论的问题比较多，因而形成了一个相当独立的研究领域。

从评价的理论方法及评价模型的发展方面来看，20世纪60—70年代发展比较迅速，一些经典的评价方法如层次分析法、模糊综合评判法等，基本上都是这一时期的产物。当然，近十年来，也出现了一些新的评价模型和方法，如语言型评价方法等。但从应用情况来看，这些方法还未起到原来那些方法所发挥的作用。因此，在近十年的评价实践中，仍然还是那些经典的评价方法和模型在起主导作用。其主要原因，一是新的评价方法在理论上未有重大突破，未能完全克服经典方法中存在的局限性；二是对评价者选用的评价方法必须是经过实践考验的，其作用及局限性比较清楚，评价的可信度较高。从国外的评价实践看，评价研究的重点是制定规范的评价程序；针对特定的评价对象，选择适用的评价模型和数据处理方法；对经典的评价方法加以改造，以适应特定的评价对象。

近年来，国内在科研项目评价中所使用的评价方法，基本上与国外所采用的方法相似，只是在指标体系、评价程序、规范性、独立性等方面仍有明显的差距，这是由于我国的评价工作尚处在探索阶段，评价的经验还不足。可以说，做好一项评价，除了评价者要具有较高的评价水平，更重要的是必须对评价对象比较熟悉，对其本质属性有较深的了解，这样才能结合特定的情况，设计出较为合理的、配套的评价方法。另外，通过评价实践获得的经验，以及掌握各项评价方法的优点和局限性，也是做好评价工作的关键之一。

第一节综合评价的概念

一、 综合评价

综合评价是指当评价对象作为系统，涉及的因素众多、规模庞大、结构复杂，反映系统目标的指标体系是由众多指标组成的一个具有多层次结构的体系，此时需要将众多指标按层次结构进行综合而实施的评价。综合评价理论涉及多元统计分析、心理学、运筹学、模糊数学等学科的有关知识。

二、 综合评价的功能

(1) 鉴定功能。即对评价对象的工作和结果的鉴定和评定。用评价标准判断评价对象达到目标的程度。

(2) 导向功能。即引导决策按正确的方向进行，使评价对象沿着正确方向进行改进和提高。

(3) 激励功能。激发评价对象的积极性。

(4) 研讨功能。通过评价对评价对象系统的效果和规律性进行研究和探讨。

三、 综合评价的原则

（1）评价活动既是通过立法保障的、制度化的工作行为，又是专业性很强、技术含量很高的研究活动。如美国的国会技术评价办公室（OTA）是美国国会的评价机构之一，其任务在政府法律中都做了明确的规定。另外，为了确保评价质量，许多评价机构都制定了专业化的评价规范，要求评价者必须具备一定的资格和特定的能力，对使用数据的可靠性和评价结果的局限性要加以说明，评价活动的设计和实施必须符合规范要求，尤其是强调所采用的评价方法的合理性一定要经过论证。

（2）为决策服务是评价活动的基本宗旨，独立性、客观性是评价活动的要义。为了给决策者提供有用的分析结果和可靠的信息，必须保证评价方法的选择、评价活动的设计、实施及评价报告的完成是独立的、客观的，为决策服务的宗旨并不抹杀评价活动自身的规律，而“独立性、客观性”也并不妨碍委托者与评价者之间的沟通与交流。

（3）评价目标的明确化是确保评价质量的关键要素。往往评价目标明确的项目，其评价结果及发挥的作用就大；另外，作为委托者，要以达到决策必要的最小化的评价目标来确定评价的任务是比较明智的，不要期望一次评价能解决所有可能出现的问题，评价者通常都是选用一些成熟、简明、实用的评价方法。

（4）坚持决策导向与重视评价理论方法的创新。无论是形成评价问题，建立评价方法，还是确定评价结果的表达形式，都是以委托者的需求为依据，同时，各评价机构还应注意加强评价理论方法的研究，往往一项大的评价项目，就会针对评价问题的特点，设计一套评价方法，这也是评价活动具有生命力的原因之一。

四、 综合评价的评价准则

尽管评价方法在科研项目评价过程中起着重要作用，但当前人们对评价方法的比较尚无过多的研究。通过征求评价专家的意见和多次评价实践，这里试给出一套针对评价方法的评价准则。这一评价准则系统由如下几个指标构成。

(1) 精确性。精确性是指使用某种评价方法进行评价时，用

评价结论-实际值实际值

来表示评价的误差。误差小说明精度高。评价实践中，在确定使用某种评价方法前，往往是找出以往的评价数据的结论来测试将要使用的评价方法的精度，以预测这种评价方法的评价精度。

(2) 公正性。公正性是指一种评价方法在评价过程中保证被评价项目得到客观和无偏见的评审程度。

(3) 可靠性。可靠性是指按某种评价方法评价出某一评价结果的概率。如果评价过程中出现同一结果的概率大，那么这种评价结果的可靠性就高。事实上，由于评价者认识水平等方面的差异及随着时间推移带来的认识上的先后差异，会造成评价结果为概率事件。但是，一种评价方法的应用导致趋同性应起主导作用，这样的评价结果才是可靠的。

(4) 效用性。效用性是指某种评价方法得到的评价结果能否产生效用。就评价而言，假如评价结果认定的申请项目的事实促进了该领域科学事业的发展那么可以说这一评价结果是有效的，这种评价方法的效用性就好。事实上，一种评价方法的效用性要通过时间和实践的检验才能证实。

(5) 最优性。最优性是指某评价方法在应用过程中为达到同样精度的评价结论时所需投入的人力、物力、财力及时间的多少。

(6) 实用性。实用性是指评价方法易于得到使用人的理解和接受的程度。实用性高的评价方法应该是易于被人理解和接受的，要求的条件也不应该苛刻。

需要指出的是，从理论上讲，针对同一个科研项目，使用不同的方法应得到同样的评价结论。但在实际评价中却很难做到这一点。这就需要评价者根据上述评价准则，灵活地选择一种评价方法，有时甚至需要采取多种方法的结合，以发挥出某种方法的长处，抑制某种方法的短处。

第二节综合评价的问题和步骤

一、 综合评价问题的描述

科学评价是科学决策的前提，没有科学的评价也难以形成科学的决策。综合评价就是依据评价对象过去或当前一段时间的相关信息，对评价对象进行客观、公正、合理的全面评价。通常的综合评价问题都是包含有若干个同类的被评价对象（或系统），每个评价对象往往都涉及多个属性（指标），这类问题又称为多属性（多指标）的综合评价问题。综合评价的目的是根据系统的属性判断确定这些系统运行（或发展）状况的优劣，即按优劣对各评价对象进行排序或者分类。综合评价主要应用于研究与多目标决策有关的评价问题。

二、 构成综合评价问题的五个要素

实际中一个综合评价问题必须要由五个要素组成，即评价对象、评价指标、权重系数、综合评价模型和评价者，五者缺一不可。

1.评价对象

在一个综合评价问题中，评价对象应该是同一类的，且具有一定的可比性，其个数n要大于1，不妨记为n个评价对象分别为s1,s2，…，sn(n>1)。

2.评价指标

对于每一个评价对象来说都应该有能够充分反映其现状的若干项指标，每项指标都是从不同的侧面反映评价对象优劣的程度，这些指标一起称为综合评价系统的指标体系。实际上，在建立问题的评价指标体系时，应遵守一定的原则。在这里不妨假设问题共有m项评价指标，依次记为x1,x2，…，xm（m>1），并引入指标数组x=(x1,x2，…，xm)。

3.权重系数

在实际问题中，对于不同的评价目的，各项评价指标之间的相对重要程度是不同的，评价指标之间的相对重要性的大小，通常用权重系数来刻画。若用wi来表示第i项指标xi的权重系数，则

wi≥0(i=1,2,…,m)，且w1+w2+…wn=1

当评价对象及评价指标确定之后，综合评价的结果就完全依赖于权重系数了，即权重系数的合理与否将关系到综合评价结果的正确性和可信度。因此，权重系数的确定应按一定的方法和原则来完成。

4.综合评价模型

基于评价对象的多项评价指标之和权重系数，利用适当的数学方法“合成”为一个整体性综合评价指标值，用于合成整体性综合评价指标的表达式（或算法）称为综合评价模型。问题是如何根据评价的目的（或准则）及被评价对象的特点来选择合适的综合评价模型是综合评价要解决的一个重要问题。

不妨设有n个评价对象s1,s2，…，sn(n>1)的m项评价指标的指标值分别为

xi=(xi1,xi2,…,xim)(i=1,2,…,n)

相应的权重系数为w=(w1,w2,…,wm)，记综合评价模型（函数）为y=f(w,x)，于是n个评价对象的综合评价指标值分别为yi=f(w,xi)(i=1,2,…,n)。

根据n个评价对象的综合评价指标值y1,y2，…，yn的大小，将n个评价对象依次进行排序或分类，从而可以作为决策的依据。

5.评价者

评价者（或决策者）可以是一个人，或一个群体，在明确了评价目的之后，要确定评价对象的评价指标体系和权重系数，建立综合评价模型都与评价者的知识、观念、意志和偏好等因素有关，因此，评价者在综合评价过程中起着重要的作用。

三、 综合评价的一般步骤和流程

针对一般的综合评价的实际问题，解决问题的一般步骤如下。

（1） 明确要综合评价的问题，确定综合评价的目的；

（2） 确定被评价对象；

（3） 建立评价指标体系，包括收集评价指标的原始数据和对评价指标数据的若干预处理等；

（4） 确定与各项评价指标相对应的权重系数；

（5） 选择或构造综合评价模型；

（6） 计算各被评价对象的综合评价的指标值，并依此做出合理决策（排序或分类选择）。

综合评价的过程不是一个随意的简单问题，而是一个对评价者和实际问题的主客观信息综合集成的复杂过程。综合评价的一般流程如图1-1所示。



图1-1综合评价流程

第三节指标体系的建立

一、指标体系确定的原则

1.完备性原则

完备性原则是指标应尽可能完整、全面地反映和度量评价对象。

2.独立性原则

在评价设计指标时，有些指标之间往往会有一定的相关性，因而要采用科学的方法处理相关程度较大的因素，使每一指标在体系中只能出现一次。有时的确无法确定指标之间的相关性程度，所以有的评价方法(如主成分分析法、网络层次分析法等)对独立性的要求不高。

3.代表性原则

代表性原则是指评价指标能代表评价目标的要求和希望。

4.可比性原则

可比性原则是指评价指标体系应当对所有评价对象都适用，评价标准应对所有评价对象都一视同仁。

5.可操作性原则

可操作性原则是指评价指标及其内容的表达要确切，指标内容最好能给出定量的特征值，如不能是定量的，其定性的文字表达也要明确、详尽，尤其是要给出指标价值函数的增减性，即评价分数是随特征值的序贯变化而递增还是递减。

6.简练性原则

简练性原则是指评价指标树的层次数及分支数要适宜，既要使评价指标能有具体的表达或有具体的特征值，以能对号入座、方便评价，又要层次清晰，使评价者一目了然，不致过于冗余。

建立指标体系的常用方法是Delphi法。它是一种使一群专家意见集中起来的咨询方法。常采用问卷调查的形式。采用这种方法时，一般先罗列一些指标，请一定数量的专家打分，当专家打分趋于一致后，可依据专家打分的结果进行指标的重要性筛选。

指标筛选还可根据收集到的关于指标的样本数据来进行。常用的方法有条件广义方差极小法、极大不相关法、选取典型指标法、最小均方差法、极小极大离差法等。

二、 制定评价指标体系的结构和评价准则

1.确定指标体系的层次结构

确定指标体系的层次结构的目的是为了合理地确定指标的权重。当有评价指标众多时，指标的权重就很难确定。通过指标体系的层次结构，层层分解，确定指标的最终权重分配就较容易实施。但如何确定层次结构，指标体系应该分几层较合理，每层有多少较合适，目前研究得比较少。

2.确定指标的评价标准及其取值范围

定性指标一般用离散的数值用表示，如用1、2、3、4、5表示优、良、中、合格、不合格。定量指标取其量化值即可，定量指标也分为离散取值指标和连续取值指标。目前研究较多的语言型评价方法是一种对无须对定性指标进行量化而直接进行评价的方法。

3.指标的标准化方法

依据其性质指标可分为极大型、极小型、固定型、偏离型、区间型、偏离区间型等6种类型。极大型为取值越大越好，极小型为指标取值越小越好，固定型为指标取值为某个固定值是最理想的状态，偏离型为指标越偏离某一固定值越大越好，区间型为指标取值在某区间是最佳状态，而偏离区间型为指标取值偏离某一区间越大越好。

指标的标准化可分为一致化和无量纲化。一致化就是将不同类型化为同一类型（一般取极大型）。无量纲化也称规范化、归一化等，即如何将统计数据压缩到同一区间，一般为\[0，1\]，最常见的归一化方法为

yi=xi－minximaxxi－minxi

有时也可将这两步合并成一步进行。如对极小化指标，无须指标正规化直接采用如下方法归一化即可。

yi=maxxi－ximaxxi－minxi

4.无量纲化方法

（1） 直线型

① 极值法

极值法的主要思想是线性放大或缩小的归一化方法，它的公式为使用极大或极小的指标数据的线性函数，主要公式有

--
--
yi=ximaxxi(xi≥0)

yi=xi－minxixi

yi=xi－minximaxxi－minxik+q(k,q为控制参数)

线性方法是一种最简单、最基本的应用最广泛的一种方法，较其他非线性方法容易被理解和应用。无量纲化的结果对最终评价结果有较大的影响。如当对某课程四人的得分为(70，80，90,100)时，按公式(1)和(2)的方法归一化后的四人的值分别为(0.7,0.8,0.9,1)和（0,0.14,0.22,0.3）。归一化后的数据(0.7,0.8,0.9,1)可用来做结论性评价，（0,0.14,0.22,0.3）只能用来做排定名次的相对排序。

② Z-score法

公式为

yi=xi－x-s

其中，x-,s为指标数据的均值和均方差。

yi也可化成百分数的形式，公式为

yi=50+xi－x-s×10

③ 比重法

公式为

yi=xi∑ni=1xi