评价研究的基本概念
评价，就是指依据明确的目标，按照一定的标准，采用科学方法，测量对象的功能、品质和属性，并对评价对象做出价值性的判断。需要注意的是在评价研究中，可以通过问卷调查、量表测量等方式来收集资料，但它只是评价研究中的收集资料的工具，并不等同于评价研究。
一、评价研究的特征
依据评价研究的定义可以发现评价研究的特征表现在评价的目标性与价值性的判断。
（一）评价的目标性
从定义可以看出，评价的目标性指评价研究是一项具有明确的目的和目标的研究活动。评价的目的是指通过评价活动后所期望达到的结果。通常有三种不同类型的期望结果。
比较评等，这属于相对性评价，目的是通过对两个不同对象的评价，以期对这两个对象的差异性做出判断。假如用a和b代表两个不同对象，比较评等就是要判断是否存在a＞b或a＜b。
达标衡量，这属于绝对性评价，是以某一对象作为比较的标准（a0），经过对另一对象a的评价研究，对对象a做出是否达到a≥a0的判断。
发展比较，这属于自我评价，是以自身的前后状况进行比较，通过对对象a不同时期的评价研究，对对象a做出是否存在a2≥a1的判断。
评价目标就是要做出上述评价结论的依据。在教育技术学研究中常用的评价依据是：
条件水平，指的是客观的教学资源条件。例如拥有教学环境和资源的数量和质量。
品质水平，主要是指资源本身的性能，例如对教学软件通常是从教育性、科学性、技术性、艺术性等方面进行品质评价的。
效果水平，主要是指发挥的效果。例如对于教学效果，是从教学目标来分类，即从认知、理解、应用、分析、综合、评价等出发，判断目标达到的程度。
管理水平，主要指的是管理方面。例如在教育技术学研究中，着重在对教学资源的开发、运用、流通、发展方面的管理。
（二）评价研究的价值判断性
评价研究的价值判断性表现在评价过程中，需要根据目标分解出若干评价要素（项目），由评判者依据一定的标准，对评价对象的各项功能、品质和属性进行等级的判断。在获得逐项的评判结果之后，还要根据各项目的重要程度制定权重，把各项目的评判等级与权重综合，从而对总体做出等级比较、达标状况或发展程度的判断。
二、评价研究的要素
评价研究由三个基本要素构成：
（一）评价对象
这是指被评价、被研究的人或者事物。在教育教学研究中，评价对象主要包括教学过程、教学资源、学生学习效果、教育教学事业的管理等多方面。
（二）评价指标体系
评价指标体系主要体现在两方面，一方面它是评价研究工作的工具，通过它有目的地进行资料的搜集、整理、分析；同时，另一方面它又是评价判断的依据，依据它作出价值性的判断。评价指标体系要素主要包括有评价要素（指标项）、评价标准和指标权重三个部分。
（三）评判者
评判者包括组织领导机关、研究人员、专家、同行、教师、学生以及评价对象自身。评价研究的三要素及其关系可用图1表示。
图1评价研究的要素
三、评价研究的基本步骤
评价研究的基本步骤可用图2来表示：
图2评价研究的基本步骤
（一）建立评价指标体系
在这里主要阐述一下评价指标体系，评价指标体系包括三个部分，即：
1.评价要素，它是反映被评对象特征的各个成分；
2.评价标准，它是衡量事物特征各个成分的比较基准；
3.指标权重，它是指各个成分在总体中所具有的重要程度的标志。
举例说明，如果是要对于某个研究方案进行评价，则可以按照如下的步骤：
1.识别方案的目的与目标（因变量）；
2.用行为的词语重述目的与目标（操作定义）；
3.构造内容有效（适当）的测验以测量在行为上陈述的目的和目标（因变量的测量）；
4.识别和选择与测验组相对比的控制（建立自变量），如果没有这一步，就是形成性评价。
（二）资料的收集
为了进行评价，通常通过多种途径收集有关资料，主要有：
1.访问调查：顾名思义，访问调查主要采用访问的形式获得第一手的资料。
2.个案调查：通过对个别对象的调查，或者对一定样本的对象的调查获得的资料。
3.问卷调查：通过发放问卷、回收问卷的形式获得调查资料。
4.量表测量（专家评判）：主要借助于专业人士来获得资料。
（三）资料的鉴别
收集到了资料只是研究的是把所收集的资料按照评价指标要素分类整理，主要通过对资料的分类整理，鉴别资料的真假性、科学性、合理性、全面性，以此来鉴别资料的可使用价值。
（四）价值判断
在搜集资料、鉴别资料的基础上，按照评价指标体系所给出的标准对每个成分要素资料进行比较、判断，作出价值等级的归属。判断各个成分要素资料在将来的研究中所处的价值，不同等级的价值所处的位置，对将来的研究有什么作用？作用的程度是多大？所占的权重分数？这样就为下一步的研究做好了准备。
（五）评价结果的综述
在价值判断的基础上，综合各个要素的得分及其权重，并且根据判断得出评价总分，根据总分和各要素得分率，作出对品质的等级评定或差异比较，或达标程度，或发展程度的价值性的描述和判断。
四、评价的类型
在教育科学研究中的评价，根据事物发展的进程，在不同的时期，有不同的目的和重点，大致可分为诊断性评价、形成性评价、总结性评价三类。
（一）诊断性评价
诊断性评价是在事物发展进程的某一阶段开始之前所作的评价。它用来了解人们对这一事物某一发展阶段的兴趣、态度以及发展所必须具备的条件存在程度等。
诊断性评价是在活动之前做的准备性工作。诊断性评价的目的是为了摸清条件、基础，发现问题，诊断原因，根据评价的结果，可以修订阶段发展目标，提出指导发展的计划。对于一项事业的发展，例如，计划要设计与开发一门网络课程，诊断性评价实际是对制作条件的评价，对人们思想准备的评价。这些评价有助于进行决策，并对今后的工作有指导作用。
在教学方面，对于学生的学习，诊断性评价先对学生进行诊断，就是在一个新的学习阶段（如单元、学期或学年）开始之前进行一种事前考核（或称前测），它要了解学生对学习新内容所必须预备的知识、技能和经验等实际掌握的程度，了解学生对计划学习的内容的兴趣、爱好和要求；根据评价的结果，按照学生的条件和预备知识、技能、经验的掌握程度，修订教学目标、方法或作出必要的决策（如进行合理编班，编写必要的指导性资料，决定制作辅助教学软件等）。
（二）形成性评价
相对于诊断性评价来说，形成性评价是对一种在事物发展进程中所作的评价，具有反馈的功能。其目的是通过对过程的评价监督事物的发展，并调整、修正发展进程。这类评价是按照原来预定的发展目标作为评价依据的。由于形成性评价的宗旨是判断发展中的材料是否适宜，研究者往往要求小规模实验组中的受试者填写问卷和参加作业测验，研究者随后评价材料的成功或失败并据以重新编写方案。对于一项事业来说，如在网络课程的开发过程中，形成性评价实际是检查进度、检查阶段成果，发现问题，以修订进度和解决存在问题。对于学生学习，形成性评价就是通过平时的小测验、期中考试、作业等测量手段来进行评价，它起着督促学生学习、改进教师教学的作用。但是形成性评价也有自身的缺点，形成性评价技术变化不定，不像总结性评价那样有系统性。
（三）总结性评价
总结性评价也不同于前面提到的两种评价，相对于事前、事中的评价，总结性评价是一种在事物发展某一个阶段之后所进行的评价，这种评价目的是了解整体的效果，提供一个总体评价成绩的资料。总结性评价往往又具有后继新阶段的诊断性评价的作用，起到了承上启下的作用。
对于一项事业的完成，例如，网络课程开发完成后，总结性评价实际上就是对工作质量、存在问题的评价，目的是形成经验，以备后期参考。对于学生学习，总结性评价往往通过期终考试、毕业考试、毕业设计、毕业实习等测量手段来进行评价，评定学生掌握知识和技能的程度并给出评定成绩。
对上述三类评价的特点进行归纳，如下表所示。
类型特点诊断性评价形成性评价总结性评价实施时期事物发展新阶段之前事物发展进程之中事物发展某阶段之后评价目的了解条件、基础，诊断原因监督事物发展，收集反馈信息评价整体效果，提供评价成绩
评价指标体系设计原则
一、科学性原则
评价指标体系的设定首先要具有科学性，科学性原则主要体现在理论和实践相结合以及所采用的科学方法等方面。在理论上要站得住脚，同时在客观上又能反映评价对象的实际情况。因此在设计评价指标体系时，首先要有科学的理论作指导，使评价指标体系的基本概念和逻辑结构上严谨、合理，抓住评价对象的实质，并具有针对性。
同时，评价指标体系是理论与实际相结合的产物，在采用研究方法的时候，无论采用定性的还是定量的方法，或者是建立什么样的模型，都必须是客观的抽象描述，抓住最重要的、最本质的、最关键的和最有代表性的东西。对客观实际抽象描述得越清楚、越简练、越符合实际，科学性就越强。
二、系统优化原则
系统性原则强调的是评价对象之间的关系，评价对象必须用若干指标进行衡量，这些指标是互相联系和互相制约的。有的指标之间有横向联系，反映不同侧面的相互制约关系；有的指标之间有纵向关系，反映不同层次之间的包含关系。同时，同层次指标之间尽可能的界限分明，避免相互有内在联系的若干组、若干层次的指标体系，体现出很强的系统性。
（一）在指标数量的多少及其体系的结构形式之间以系统优化为原则，就是以较少的指标（数量较少，层次较少）较全面、系统地反映评价对象的内容，既要避免指标体系过于庞杂，又要避免单因素选择，追求的是评价指标体系的总体最优或满意。
（二）在总的方面，评价指标体系要统筹兼顾各方面的关系，由于同层次指标之间存在制约关系，在设计指标体系时，应该兼顾到各方面的指标。
（三）系统的方法不仅仅在前两点适用，在设计评价指标体系的方法时也应采用，例如系统分解和层次结构分析法（AHP），由总指标分解成次级指标，再由次级指标分解成次次级指标（通常人们把这三个层次称为目标层、准则层和指标层），并组成树状结构的指标体系，使体系的各个要素及其结构都能满足系统优化要求。也就是说，通过运用系统法形成各项指标之间的有机联系方式和合理的数量关系，体现出对上述各种关系的统筹兼顾，达到评价指标体系的整体功能最优的、客观的、全面的评价系统的输出结果。
三、通用可比原则
简单的说，通用可比性就是对事物之间的比较，严格的说指的是不同时期以及不同对象间的比较，即纵向比较和横向比较。
（一）纵向比较。相对于同一对象来说，即同一对象在不同的时期，也就是这个时期与另一个时期作比。评价指标体系要有通用可比性，条件是指标体系和各项指标、各种参数的内涵和外延保持稳定，用以计算各指标相对值的各个参照值（标准值）不变。
（二）横向比较。主要是指在同一时期内针对不同对象之间的比较，找出共同点，按共同点设计评价指标体系。对于各种具体情况，采取调整权重的办法，综合评价各对象的状况再加以比较。对于相同性质的部门或个体，往往很容易取得可比较的指标。
四、实用性原则
实用性原则指的是实用性、可行性和可操作性。
（一）指标要简化，方法要简便。评价指标体系要繁简适中，计算评价方法简便易行，即评价指标体系不可设计得太繁琐，在能基本保证评价结果的客观性、全面性的条件下，指标体系尽可能简化、减少或去掉一些对评价结果影响甚微的指标。
（二）数据要易于获取。评价指标所需的数据易于采集，无论是定性评价指标还是定量评价指标，其信息来源渠道必须可靠，并且容易取得。否则，评价工作难以进行或代价太大。
（三）整体操作要规范。各项评价指标及其相应的计算方法，各项数据都要标准化、规范化。
（四）要严格控制数据的准确性。能够实行评价过程中的质量控制，即对数据的准确性和可靠性加以控制。
五、目标导向原则
评价的目的不是为了单纯评出名次及优劣的程度，最重要的是一种导向作用，即引导和鼓励被评价对象向正确的方向和目标发展。绩效考评是管理工作中控制环节的重要工作内容，采用“黑箱”的方法利用实际成果的评价对被评价对象的行为加以控制，引导其向目标靠近，即目标导向的作用。
人才环境评价指标体系
指标体系的作用是对客观系统的主观抽象和模拟。由于客观系统本身就是以某种逻辑体系存在的，人们为揭示客观系统的这种逻辑体系建立了种种理论，因此建立任何一种评价指标体系都必须有科学理论上的依据，并以其为指导，将理论、方法和实践有机结合起来，才能科学而有效地反映评价对象的内在联系。人才的培养和发展涉及到方方面面，而每一方面又涉及众多的因素和变量，所以它不仅是一个内在关系极其复杂的大系统，同时也必然是一个理论含量十分丰富的逻辑体系。因此，要处理这样一个复杂系统，首先需要确定指标选取的原则，其次必须具备理论上的依据。
一、指标选取的原则
人才环境评价体系研究的指标不仅要能够反映影响人才成长、发展的各个方面，而且指标的选取还要客观、准确地反映动态变化的人才环境状况。
（一）动态性原则
从人才环境来看，一个地区的政治、经济、人文、社会等方面的状况总是在随着各种外在条件的变化而变化，人才内部环境系统和外部环境系统也均处于不断变化之中，不断产生新情况和新矛盾，这就要求对人才环境评价的指标选择首先要遵守动态性的原则，使人才环境的评价能反映不断变化的客观实际，更好地指导区域人才开发实践。同时，由于动态的人才环境的影响，对于人才的成长及发展也是一个动态的过程，在一种不断有新情况和新矛盾出现的环境里，对人才成长及发展的评价也必须是动态的。
（二）可采集性原则