二、美国政府和公共服务部门绩效评估研究
《政府绩效与结果法案》以法案的形式将之前各届政府实施的联邦机构绩效管理中得到的经验和精华部分加以确立和巩固,同时更加强调机构的整体战略和绩效管理,将机构的绩效评估加强。联邦机构必须无一例外地执行GPRA(政府绩效与结果法案),每个机构都必须按照GPRA的要求制订机构的5年长期战略规划设立发展过程中的里程碑、设立年度绩效评估和报告。机构进行绩效评估时采用的方法主要是自评估,但评估的内容和结果会在网站上公布,向所有的社会公众公开,使公众可以了解机构运营的真实情况,从而也可以对机构的自评估形成良好的监督。
我国学者在高度关注美国联邦政府绩效评估方面的问题时,也对很多政府和公共服务部门的绩效评估体系进行了系统的分析,以期为我国进行绩效管理改革提供参考的依据。
美国专利商标局战略计划绩效评估研究
美国专利商标局自1994年以来基本按照GPRA规定的模式实施绩效评估。由于参与GPRA试点运作较早,美国专利商标局有机会重新审视、开发和创造绩效指标,使其与本局的任务和战略计划关系更紧密,更有效地实施绩效评估。美国专利商标局根据其任务制订战略计划,包括“1996~2000战略计划”“21世纪战略计划”和“2007~2012战略计划”;每年对战略计划的实施绩效进行评估,先制订年度绩效计划,然后在财政年末(9月30日)公布年度绩效报告。美国专利商标局战略计划绩效评估的基本模式是:任务-战略目标-绩效目标-绩效指标-预期目标-绩效数据审核与确认-绩效评估-绩效报告。万小丽、朱雪忠、周勇涛(2009)以《2008财政年绩效与责任报告》为例,详细阐述了美国专利商标局的评估模式。
①任务
美国专利商标局“2007~2012战略计划”开篇写明其任务是:提供高质量的、及时的专利和商标审查,引导国内和国际知识产权政策方向,在世界范围内提供知识产权信息和培训,以最终达到促进创新和提升竞争力的目的。
美国专利商标局的主要服务职能是审查专利和商标申请、培训、传递专利和商标信息。通过公布专利,美国专利商标局提供发明投资以及公开新技术的动机来鼓励技术进步。通过注册商标,美国专利商标局通过保护企业的投资提高商品和服务的质量,保护消费者权益,避免市场中的混淆和欺诈来帮助企业。另外,关于审查申请是否符合专利授权和商标注册,美国专利商标局为行政部门代理机构(Executive Branch Agencies)就知识产权事务和与贸易有关的知识产权提供技术咨询和信息。美国专利商标局还同其他国家政府一同建立规则和实施机制以履行知识产权保护的国际任务。
②战略目标与绩效目标
“2007~2012战略计划”较以往的计划有所不同,提出了远景和指导性原则。远景是在知识产权保护和政策上处于世界领先地位,为了支持商务部的目标“通过知识产权提高美国创新和产业竞争力……”。美国专利商标局确定了相应的目标措施和绩效指标,以提高专利和商标审查程序各方面的质量水平。为完成战略计划,该局设定战略目标绩效目标和措施需要遵循四个指导性原则:质量、及时、成本效益和透明。
③绩效指标
根据三个战略目标以及相应的绩效目标,美国专利商标局设计了13个可以量化的绩效指标。专利绩效:专利核准正确率、专利审查正确率、专利首次通知平均周期、专利审查平均周期、电子专利申请提交率;商标绩效:商标首次通知正确率、商标最终通知正确率、商标首次通知平均周期、商标审查平均周期、电子商标申请提交率;知识产权保护:请求USPTO(美国专利商标局)专家复查知识产权政策或标准的数量、为美国政府利益在世界范围进行知识产权专家评估案例数量、作为知识产权政策和执行办公绩效,为知识产权共同合作、行动计划、机制、发展中国家实施或完成的支持计划而签订的协议备忘录数量。
④预期目标
在制订绩效计划时,根据绩效指标,美国专利商标局设定了下一年或几年所要达到的量化的预期目标(Target),以便绩效评估时有对比的基准。
⑤绩效数据审核与确认
为了符合GPRA的要求,美国专利商标局承诺保证绩效报告的信息是完整、准确和连续的,为了保证数据的高质量,美国专利商标局制定策略以审核和确认绩效结果的质量、信度和效度。具体如下:
a.责任:美国专利商标局的项目管理人员有责任提供绩效数据,美国专利商标局要求项目管理人员遵守一定程序确保数据准确以及绩效评估资料完整和可靠。
b.质量控制:收集跟踪和储存绩效指标的自动系统和数据库是由美国专利商标局的项目管理部门(Management of USPTO Programs)监控和保管,同时有首席信息官员组织(the Chief Information Officers Organization)提供系统帮助。每一系统,如专利申请场所与监控系统(Patent Application Location and Monitoring,PALM)和商标报告与监控系统(Trademark Reporting and Monitoring,TRAM),都有内部计划编辑程序控制支持数据的准确性。编辑程序主要评估数据的合理性、一致性和准确性。与其他内部自动系统一样,交叉检查的目的也是确保数据的合理性和一致性。除了对每个系统进行内部监控,业务部门之外的专家对数据收集方法进行日常监控外,首席财务官员组织(the Chief Financial Officers Organization)有责任监控该部门的绩效,为数据收集的方法和分析提供指导和支持,确保适时检查数据质量,报告绩效管理数据。
c.数据准确:美国专利商标局定期审核和确认绩效指标以保证其质量、信度和效度。在每个财政年初报告或评估期间的整个过程中的不同环节,都要检查和调整抽样技术,以确保抽样数据对整体数据推断具有统计学上的可靠性。数据分析也帮助业务部门解释计划数据,例如辨别统计意义上的发展趋势和影响特殊绩效指标的重要因素。为了确定检查行为本身的质量,需要在检查人员变化、数据输入错误和潜在的不同偏见方面对其进行评估。而且在每份绩效报告中,针对每个绩效指标都要对数据来源、数据输入或报告频率、数据存储方式、数据核实方式以及数据是否有缺陷等进行说明。
⑥绩效评估及结果
绩效评估的方法比较简单,就是将实际情况(Actual)与预期目标(Target)进行对比判断达到的程度。2005年以前评估结果分为“达到”和“未达到”两种,从2005年开始分为绿灯、黄灯和红灯三级,分别表示“达到或超过”“达到75%以上”“未达到75%”。其中2008年的评估结果均为绿灯。
美国联邦科研机构绩效评估研究
我国学者刘莹、张大群、李晓轩(2007)对美国联邦科研机构的绩效评估进行了研究。美国政府对于联邦机构中的科研机构和其科研项目,OMB(管理与预算局)和美国科学技术政策局(Office of Science and Technology Policy,OSTP)提出了R&;D投资标准,建立R&;D项目绩效评估的标准更加一致。R&;D(Research &; Development Investment Criteria)投资标准认为,基础研究项目应更好地聚焦并改进其研究的质量和相关性,而应用研究项目则应更多地关注是否能达到其预期的结果。相比于GPRA,PMA(President's Management Agenda,总统管理议程)开始关注机构之间评估的统一的标准和机构间的可比性,其中的R&;D投资标准开始对机构项目进行一定的关注。
R&;D投资标准强调质量、相关性和绩效三方面,每个方面都分为“前瞻性”和“回顾性”两部分。质量包括项目的前瞻性价值评议和项目质量的同行评议;相关性包括对项目方向和相关性的定义以及评估项目设计和相关性的回顾性评估;绩效包括对项目投入和产出的前瞻性评估以及项目完成后的绩效证明。OMB鼓励联邦机构将满足GPRA和R&;D投资标准的目标和绩效测量反映在机构的绩效计划中,并且相互一致。在实践中相关性、质量和绩效标准适用于所有的R&;D项目。
美国社会保障局绩效评估研究
张志超、丁宏(2007)以美国联邦政府的社会保障管理局(Social Security Administration,SSA)为例,整理并分析该部门预算与绩效评估的实际情况,同时针对值得我国借鉴之处,提出改进我国年度预算以及长期计划安排的政策建议。其绩效评估步骤如下:
①设置部门施政战略目标
美国社会保障管理局将部门任务解析为四个方向:服务质量、计划管理、偿债能力与人力资源,每个方向衍生并且发展出相关的长期目标。
②确定项目绩效目标与设计绩效测度指标
联邦部门于年度绩效计划中设定当年度的绩效目标,社会保障管理局首先将长期目标转化成数个具体的预期成果。明确定义出目标的预期成果后,接着设定一系列的短期(年度)绩效目标,绩效目标是由“衡量指标”加上“目标数值”所构成,其中指标性质可以是产出导向、成果导向或是效率导向,无论是何种性质,都必须能够有效、及时地反映部门的实际成果及趋势。
③绩效评估信息的表达
社会保障管理局年度绩效报告包含三大部分:管理当局评论分析;绩效信息;财务信息。其中关于绩效的信息主要在第一和第二个部分体现出来。
“管理当局评论分析”主要协助绩效报告的使用者,对于政府部门当年度的施政成果与实际绩效,取得摘要及重点式的了解与认知。首先,介绍社会保障管理局的概况,运用文字叙述与图表显示各项计划的成果(例如:历年受益者人数整理、成效展现的趋势图等),说明组织架构与人力资源配置的情形,并列出经营成果、资产负债状况、历史财务信息比较、特殊或重大财务变动等财务状况。社会保障管理局使用圆饼图表达资金来源、用途以及各项计划使用资源的比重。接着,以简洁文字循序描述各项长期目标的挑战、执行策略、预期成果与实行措施,并针对重要的年度绩效目标,揭露实际执行成果与绩效信息,包括当年度目标、实际绩效、趋势图、指针意义和数据来源。
“绩效信息”部分,即正式进入详细的绩效介绍,为了让读者能够迅速获得一个概括的理解,社会保障管理局使用图表并辅以文字叙述的方式,介绍绩效指标的达成概况。
④绩效信息与预算调整
美国联邦政府会计年度为十月制,预算管理局每年于一月份提出下年度的总统预算。社会保障管理局在总统预算中,除了介绍现行推动的各项计划与业务内容外,还分析施政环境的变化趋势以及部门未来面临的挑战,另列出当年度的重要绩效目标。
美国高等教育绩效评估研究
自20世纪80年代以来,针对社会公众对高等教育质量的普遍质疑,高等教育质量保障运动在欧美国家蓬勃兴起,许多高校从内部管理入手,纷纷建立高等教育质量内部保障体系。与此同时,为加强高等教育的外部保障,各国政府又逐步建立了高等教育质量外部保证、评估机构,并赋予评估以第一种重要功能——将评估结果与财政拨款相结合,作为评价拨款绩效和确定拨款额度的依据,并借此提高办学资金的使用效益。
在这种内部评估、外部评估结合,评估作用日趋重要的背景下,评估结果对各国高等教育财政拨款的影响程度也越来越高。评估结果影响财政拨款的形式主要有以下两种:评估结果直接与财政拨款额挂钩,形成了“绩效拨款”;绩效因素参与拨款过程,形成了“绩效预算”。
在全球范围内,美国最早实行了高等教育绩效拨款机制,并取得很大的成功。1974年,田纳西州高等教育委员会提出依据学生学习情况和教学质量确定高等教育拨款数额。1979年,田纳西州政府把绩效拨款机制正式引入高等教育拨款方式中,当时叫“绩效拨款方案”。这里的“绩效”是拨款公式中的一个因子,其他的因子包括:满足基本教学需要的教学基本经费、办公经费、学生资助部分、科研经费、专项经费等等。具体的做法是,由田纳西州高教委员会根据一些指标对高校进行绩效评估,得满分的学校可得到当年拨款总额5.45%的增加额。
在绩效指标的确定上,美国各州选取的具体指标有所不同。但是他们都有如下几类指标。包括:教学与学生指标:学校聘用教师和录取学生的政策、师生比、学生完成课程的比率、学生获得学位的平均年限、学生就业状况等;科研指标:教师与研究人员比率、科研经费获得额、科研成果等;财务及资源管理指标:生均成本、经费来源结构、校园生活质量、行政人员与支持人员比率等。