加拿大联邦政府评估体系的建立只有短短的29年历史,而科技评估历史却长达40多年。主要评估组织包括议会、总审计署、国库委员会,以及70多个联邦政府部门和机构。联邦评估模式是非集中模式,由各组织通过独立于管理体系之外的内部评估系统对其自身的政策和计划进行评估,评估结果必须与外部有兴趣的方方面面分享,如国库委员会,议会下属各委员会、议会及其它组织和机构,包括公众。必要时,各部门评估机构或国库委员会可以安排外部专业人员对有关政策和计划进行独立或合作评估。各部门评估机构根据所属部门工作职责并根据联邦评估政策自行选择评估领域及方式,及制定相应评估政策和框架。
1.建立了一套完善的联邦政府评估体系
议会下属各委员会由执政党和在野党的议员组成,负责议员们在众议院或参议院正式审查有关建议法案及其它事关议员们关切的议题之前,就此进行预先审查。一般侧重宏观性政策、前瞻性战略及事关百姓生计的重大议题。
总审计署是议会下属机构,负责确保加拿大政府计划在执行过程中符合议会的要求,并且符合经济发展、效率及有效性等要求。为履行该责任,总审计署负责有选择性地审查联邦部门和机构的一些计划的执行情况,并将其审查结果和建议直接向议会报告。
国库委员会是由6位部长组成的内阁委员会,负责联邦公共事务的综合性管理工作。其中一个重要作用就是建立联邦评估政策。除了制定政策,国库委员会还负责制定评估标准,提供技术支撑、确保提供从业人员的培训和能力建设服务,监控各部门和机构从事评估工作的质量,并领导联邦政府要求及指定的评估项目。
许多联邦部门和机构负责实施各项计划及服务。每一个部门和机构根据国库委员会制定的政策负责评估内部的各项计划。大多数情况下,各计划在建立之初就建立了一套评估框架,确定了业绩期望目标、执行过程中的特别监控要求(主要服务于持续的管理决策者)以及未来计划的评估要求。该框架一般包括评估议题、执行方法、数据采集、分析报告及评估方法等。评估研究则采纳系统的研究方法,主要检查三个方面的情况:计划相关性、成功率和成本效益比。
2.科技评估的演变
由于科研本质上的特殊性,如投入较大、难于量化,但对经济发展却有巨大的潜在影响,因此科技评估早在上世纪60年代,就被科技界采用。当时,同行评议成为加拿大自然科学和工程研究理事会、加拿大自然资源部和国家研究理事会等科技部门和机构对研发质量进行评估的通用方法。其他评估方法还包括客户、潜在客户及职员调查、案例分析、效益--成本分析等。
继1977年联邦政府号召各联邦组织建立评估能力,并对所有计划进行循环评估后,联邦政府科技计划评估从80年代初期逐渐推行。科技活动比较频繁的国家研究理事会,根据联邦机构的要求,开始应用多种方法,如同行评议、计划评估和内部审计等,以提供更兼容的评估能力。内部审计主要侧重管理方法、运作控制以及支持管理的信息体系的充裕性。计划评估主要审查本机构与外部客户、利益相关者及政府之间的关系以及资金来源,主要侧重客户反馈及科技活动的影响。而同行评议则就科技质量和项目与产出相关性等方面提供专家意见。
作为联邦协调机构,国库委员会向部门内科技评估提供支持和引导,同时加强评估议题与政府范围内的科技政策以及部门关切的联系。例如,1986年的讨论文章为联邦政府对联邦政府内的研发评估提供了一个通用方法。该文章对目的型及非目的型的基础和应用型研发提出了一系列评估议题,如合理性、相关性、管理、成果和替代性。合理性主要侧重政府的合法角色、目标是否符合政策及优先领域,是否符合创新进程、政府计划的要求、产出巨大利益、以及具有确定的顾客。相关性主要评估客户或用户是否对研发结果表示满意。管理则评估管理方法是否能产出成果和效益,资源分配是否充足,管理形式是否合适,风险是否充分估计到。成果则分析成本、时效性及结果等方面的目标,广泛的影响及质量等。而比较性则分析内部和外部研究,大学或工业研究等对比方式下产生的不同贡献率。
由于评估资源主要来源于各部门和机构内部,评估倾向于注重部门管理议题,而不是联邦机构的关切。国库委员会于1989年组织的评估表明许多研究侧重改善计划运作和执行的管理方式、降低成本或提高计划效益方面,因此对政策没有直接的影响。
尽管加拿大的科技评估主要集中在计划和项目评估,但是在不同时期也进行一些科技政策评估,并据此出台一些新的政策。
1994年,加拿大政府认识到科技在现代经济发展的重要性,因此对1995-1996年度吸引直接投资约50亿加元这一科技领域进行了评估。评估过程中,加拿大进行了全国范围内的社区咨询,5次地区大会及一次全国性论坛,共涉及3000名加拿大各界人员。调查和评估结果,连同联邦政府部门和机构的一些想法,为加拿大新的科技评估方法搭建了舞台。同时该科技评估政策催生了1996年颁布的联邦政府政策,题为"新世纪科技--联邦战略。"该政策确定了全国目标,概述了联邦政府的核心科技活动,建立了基于吸收专家建议的新的政府管理体系,改善了部门间的协调和管理能力,并介绍了引导部门和机构进行科技投资和运作的操作原则。
3.加拿大政府主要科技评估方法
加拿大联邦政府科技界与世界上其他国家的科技界一样面临着向缴税者在科技政策、计划和项目成果方面提供更好信息的压力。经过40多年的科技评估实践和发展史,约30多个联邦科技部门主要采取同行评议、用户调查、利益成本分析、案例分析、局部指标、综合局部指标及业绩框架等评估方法对其职责范围内的工作进行评估。
业绩框架方法主要用于评估政府部门和机构的运作及管理效率。该方法主要包括三大互为关联的关键因素:
资源:财政、人力和物质资源。传统意义上说,该因素是政府管理人员感到最舒服的一个方面,也是他们最成功衡量和报告的方面。
范围:取决于计划的性质,可以包括客户、受益者、接受者、利益相关者、合伙者,共同执行机构等。
结果:计划的预期结果、影响和作用,包括直接或即时的影响,最终或长期的结果。
这三种因素构成了政府典型运作的关键业绩领域,也是管理人员必须经常性检查的领域。三个因素的直接关系造就了一个互为作用的平衡业绩模型。改变三个因素中的任何一个因素的水平会引发另外一个或两个因素的调整。如资源减少意味着活动/产量减少,导致范围变窄、成果更少或更多肤浅的结果。
4.加拿大联邦政府部门评估案例
（1）内部运营和业绩评估采用业绩框架法
加拿大国家研究理事会下属19个研究所和中心,共计4000个雇员、1200访问学者和工人,主要从事事关加拿大经济发展的技术领域的计划,涵盖长期战略性计划及以客户为本的伙伴计划。
根据前文所述,理事会是最早于上世纪60年代就开始进行科技评估的加拿大联邦政府机构之一。
理事会主要采取业绩框架法及其业绩指标对其下属19个研究所及有关5年计划的运营和业绩进行监督和评估,并据此向议会递交年度报告,以及申请下一期5年计划的经费。评估部门的主要职责是根据联邦评估政策,设计和制定符合本部门工作性质的评估方法及计划,收集量化信息,经常与高层管理人员召开会议传达信息和解决技术问题。各研究院所及计划牵头单位负责提交评估报告,内容必须根据计划原先设定的目标等进行量性和质性分析。
理事会评估人员则负责重新评估及确认批准。理事会为业绩评估指标设计了6个类别,共计92个指标,并对每个指标作了明确定义。六大类别主要包括:资源投入信息(各种资金来源及经费、工资等支出)、杰出人物、杰出雇员(访问学者、内外部获奖、发表论文等)、卓越和领先(专刊论文数、专业会议论文、参与国家委员会的人数、参加外部多层次研究人员的优秀网络和中心的人数等)、技术集群(工业伙伴设施的已占用空间、现存空间及入住者情况等)、对加拿大的价值(新成立公司数量、合作协定价值、合作方的先期投入、专利数、技术转让许可等)、国际影响(组织的国际会议、接待外国代表团数、国际合作协议等)。
(2)科技计划及项目评估采用同行评议法
根据加拿大科学工程研究理事会和加拿大卫生研究院针对合作健康研究项目制定的2006年同行评议手册,同行评议主要是为项目评估委员会提供评估指南和标准。
(3)科技政策调整采取外部评估方法
2005年5月,工业部长任命了商业化专家小组委员会。主要任务是确定加拿大政府如何保证持续提高加拿大短期和长期商业化的业绩。2006年4月,加拿大工业部公开发表了题为《人才和卓越:商业化成功的核心--加拿大商业化专家小组委员会的最终报告》。
该报告围绕人才、研究和资本三个方面提出了一揽子的11条建议。这些建议的核心是在制定商业化计划和相关政策时充分发挥私营领域作为一个完全伙伴的新作用。主要建议包括:创建商业化伙伴委员会----一个以企业界主导的新型领导模型。主要职责是向工业部长提供诸如政策、计划、投资等方面的咨询及建议,并就有关活动的效率、整合及作用递交评估报告；设立新的加拿大商业化奖学金计划提高企业对人才的需求；建立鼓励年轻人致力于商业化和科技事业的有关计划并提供可观的、有保证的及长期的支持；建立国际学术人才和研究基金吸引技术和才智人员来加拿大从事商业化活动,并将加拿大学生、商人和研究人员与世界范围内的知识扩张联系起来；建立商业化超级基金,为加拿大在具有潜在竞争优势的工业领域提供商业化机会；扩大联邦三大拨款委员会等机构支持私营种子和新型公司证实商业想法和原则的计划；建立加拿大中小型企业伙伴计划,提高中小型企业参与产品、服务和开发过程的商业化程度；联邦政府对影响风险资本市场在公司扩张时期的作用的有关政策、计划及其它因素做一个全面评估；取消国外风险资本投资的障碍,为加拿大增强商业化活动提供一个路线图,并提出了为达此目的而需采取行动的优先领域。
(4)对公众有争议的科技计划引入外部财务咨询机构进行评估
2006年7月10日,加拿大工业部长Maxime Bernier先生宣布了外部审计师关于47家企业是否遵守他们与加拿大技术伙伴计划签署的捐赠协议的某些条款的最终报告。早在2004年8月,加拿大工业部按例对工业伙伴计划进行了评估并公开了评估结果。当加拿大技术伙伴计划在过去一年引起争议后,工业部长要求了解审计问题的全部底细,并于2006 年2月要求就此计划进行重新评估。Raymond Chabot Grant Thomton Consulting Inc.公司接受 委托负责对47家公司是否遵守与加拿大技术伙伴计划签订的捐助协议中的两个要求这一事实进行评估。这两个要求分别是:
①要求公司确认,任何为赢得协议曾代表公司游说的个人,如果被要求在游说登记法令下登记,在该法令下登记。
②要求公司说明它并未向任何受雇去争取该协议的个人支付佣金、临时费及其它基于执行协议过程中的有条件的补偿费。
经过审计,该公司的评估报告发现30家公司显示符合关于游说和支付临时费两条的合同义务,16家则不符合上述两条规定。关于16家不符合有关要求的每一家公司的审计文件己交给工业部供考虑确定。另外，一家则没有按时间向审计师提供公司的账簿和记录，因此无法确定该公司是否符合上述两条要求。工业部正采取措施确保该公司向审计师及时提供有关文件及设备。此外，工业部已与5家公司达成处理协议。这些公司同意向政府支付等值与他们向各自游说者支付的临时费，总价值为120万加元。同时，该工业伙伴计划对其论证程序进行了修改，还增加了一些新程序。例如：与该计划的投资官员进行初步接触后，潜在的申请者将收到一份关于雇佣游说人员及支付临时费等合同义务的通知。计划官员随即需核实申请公司雇用的游说人员是否已根据游说法令登记。在进行申请阶段初期，提交正式建议书时及提交年度信息报告的各阶段，申请公司必须提交遵守上述捐助协议的两个要求的书面保证书。
总的来说，加拿大科技评估体系健全、政策明朗、公开透明、专业化管理、评估方法多样灵活。
（据：全球科技经济瞭望 2006年第12期）
