第5章评价与持续改 进 .................................................... 5.评价与持续改进的要素 1 本章介绍计算机科学与技术专业培养方案的编制和执 行过程中各环节评价方法以及持续改进机制,包括培养目 标、毕业要求和课程体系等方面。 各环节的评价与持续改进需遵循以下三个要素。 ①有公开的评价和过程质量监控机制。包括各环节评 价的责任人、评价对象、评价周期、评价方式、评价内容和评 价结果等。 ②有明确的质量要求。各环节均应有明确的质量要 求,通过教学环节、过程监控和质量评价促进各环节目标的 达成。 ③评价结果能被用于专业各环节的持续改进。培养目 标、毕业要求以及课程体系等的评价结果能被用于培养方 案的修订及各教学环节的改进。 5.培养目标的评价与持续改进 2 专业能够定期评价培养目标的合理性,并根据评价结 果对培养目标进行修订,评价与修订过程有行业或企业专 家参与。 5.1 培养目标的评价机制 2. 专业需建立有效的毕业生跟踪反馈机制以及有高等教 育系统以外有关各方参与的社会评价机制。 由专业负责人组织某个委员会进行培养目标的评价, 成员包括专业教师代表、行业或企业专家等。建议每2~4 年进行一次培养目标合理性评价。通过对毕业5年左右的 校友、主要用人单位进行座谈或问卷调查,了解毕业生在社 会与专业领域取得的成就,检验培养目标的合理性。 5.2 培养目标的评价方法与要求 2. 培养目标的评价需要有足够的覆盖面,不能仅针对部 分有成就的毕业生和个别特定的用人单位。 座谈会、问卷调查内容需针对培养目标的描述展开,通 过定性、定量的方式进行评价。既需了解现有培养目标的 合理性程度,也可同时了解用人单位、毕业生对培养目标的 改进意见,为培养方案修订提供依据。 培养目标的评价主要依托毕业生跟踪反馈和各方参与 的社会评价。主要评价内容包括: ①学生毕业5年左右在社会与专业领域取得的成就与 培养目标描述的一致性。 ②用人单位通过对聘用毕业生的跟踪,客观评价毕业 生的能力素养层次与培养目标描述的一致性。 ③行业、企业专家结合社会需求、行业要求评价现有培 养目标描述的合理性。 ④高校专家结合学校的办学定位、学科发展评价现有 培养目标描述的合理性。 其中,调查问卷可以围绕知识评价、能力评价、素养评 价展开,采用五级打分的定量方法。具体内容如下: ①知识评价可包括自然科学知识、人文社科知识、专业 领域知识、跨学科跨专业知识、研究方法论知识等。 ②能力评价可包括学习认知能力、工程实践能力、研究 能力、创意创新能力、表达能力、团队合作、组织管理、领域 洞察力、分析解决问题能力等。 ③素养评价可包括科学素质、人文修养、国际视野、法 律与职业道德、社会责任、忠诚奉献、诚实守信、事业心与担 当精神、环境与可持续发展、心理承受与调节、终身学习等。 培养目标的评价一般在座谈、调查的基础上给出定量 的分析报告和定性的评价报告。 2.培养目标的持续改进 5.3 专业负责人组织某个委员会针对培养目标评价报告, 形成培养目标的评价结论。专业根据评价结果,并综合教 学环节的评价结果,修改或调整培养方案中的培养目标,使 之更符合专业的办学定位、学科发展、社会需求,促进专业 培养的人才满足国家、社会、行业和企业等多方面的需要。 5.毕业要求的评价与持续改进 3 专业应通过评价证明毕业要求的达成。这里所谓证 明,包含了三方面:一是培养方案制定时合理分解毕业要求 到可衡量的若干指标点;二是培养方案制定时能够明确指 出每一项毕业要求及指标点是通过哪些具体的教学活动来 实施的;三是培养方案实施时能够提出依据说明,每个活动 有合理的评价方式,对每个学生给出是否达到要求的评价 结论。 需要强调的是:①毕业要求达成评价的目的是为了持 续改进。②持续改进需要基于恰当且充分的评价。③改进 是持续性过程,需形成闭环。对改进措施要跟踪评价,直到 问题解决或确认措施有效。 3.毕业要求的评价机制 5.1 毕业要求达成的评价机制主要包括评价的机构与人员、 评价原理与依据、评价的周期与成果以及评价的合格标准。 1. 评价的机构与人员 毕业要求达成评价工作涉及多项工作内容,为此专业 需要统筹规划并组织实施。由于每个学校每个专业均有各 自的专业建设管理体系与工作制度,本《指南》仅给出一个 一般性的参考方案,参见表5-1。 表5- 1 评价工作与评价机构人员 评价工作项 制定评价标准与方 法,审核毕业要求指 标点分解的合理性 制定指标点/课程体 系的关系矩阵 课程达成度分析 毕业要求达成度分析 参与人员或机构 专业负责人、专门组织(如某个委员会)。 【建议】如果一个院系有多个专业,由院 系分管教学的总负责人领导该项工作会更 有利于工作开展 专业负责人、专门组织(如某个委员会)。 【建议】课程负责人如能参与此项工作, 则能更好地结合课程教学设计与运行的实 际情况以及课程当前正在承担的教学改革 的具体情况,更有利于确保关系矩阵的合 理性 课程负责人、任课教师 专业负责人 由表5-1可见,课程达成度是整个评价工作的基础与主 体工作。要求各课程的责任教师必须对毕业要求达成评价 工作有基本的认识,并承担相应的分析与计算工作。 2. 评价原理及依据 毕业要求达成评价工作的主体是对课程教学的评价。 这种评价通常是通过分析课程的考试、作业、实验等环节设 置的考查点与毕业要求中对知识、能力和素质培养等方面 的吻合性、成绩分布的合理性、考核难易程度、试卷抽样分 析等进行分析与评价。 调查问卷是另一种应用较为广泛的评价工作。例如通 过应届毕业生的调查问卷了解毕业生能力达成度的自我评 价;通过往届校友的调查问卷了解毕业生知识、能力和素养 对各自岗位的支持程度;通过用人单位调查问卷跟踪用人 单位对毕业生知识、能力和素养的要求程度。 3. 评价周期 在学生毕业时,完成各项毕业要求指标的达成度评价。 根据各项毕业要求达成度评价值,判定本届学生毕业要求 的达成情况。可见,毕业要求达成度评价周期为1年。 为保证专业教学质量,一般要求课程教学评价应以课 程实施周期为周期。例如某门课程每年运行一次,则其达 成度评价周期为1年。 4. 评价形成的成果 评价成果主要包括两方面的内容。 .课程达成度。通常来说,由于毕业要求被分解为若 干个指标点,因此课程达成度评价就是评价课程对 于指标点达成度的情况。一门课程支撑的毕业要求 指标点均需要被评价。 .各项毕业要求达成度评价结果表。毕业要求达成度 取决于其各个指标点达成度的结果。 根据各项毕业要求达成度评价值,由此判定本届学生 的毕业要求达成情况,明确是否“达成”。 5. 评价合格标准 毕业要求达成度计算结果介于0与1之间。类似于需 要设置课程考试及格线,各专业也需要为毕业要求是否达 成设置一个相应的合格标准,例如0. 7。如果最终计算结果 大于或等于该合格标准值,则视为本项指标达成。该合格 标准取值应由某个组织来确定,如院系的指导委员会。 5.2 毕业要求的评价方法与要求 3. 评价学习效果包括直接评价和间接评价两种方式。其 中,直接评价是通过直接观察或检查成效来评价毕业要求 指标点的达成情况,其方式包括作业、测验、考试、实验或实 践、第三方专业证书考试、专题报告、实习单位考核等。间 接评价多为意见调查或自我陈述,包括访谈、问卷调查等, 来间接推估学生学习成果,其方式包括书面调查和问卷调 查、访谈、专题讨论。 虽然毕业能力达成评价时应尽量采用直接评价方法, 但并不排斥间接评价,甚至应该注重两者的结合。例如,通 过对访谈这类间接评价方式在内容上的精心设计,使其包 含直接评价相关内容,这样更有利于形成较为完整、可信的 评价结果和证据链。 1. 评价方法 1)课程达成度评价方法 课程达成度评价是指根据学生在各考核环节的考核结 果(包括试卷、大作业、报告、课程设计等)计算课程对某个 毕业要求指标点的达成度。其一般性计算方法如下: 课程达成度=课程支撑强度 Σ考核环节平均分 × 考核环节权重 × Σ考核环节应得分 × 考核环节权重 其中: .课程支撑强度:课程对某个指标点的支撑强度。 .考核环节应得分:某个考核环节设置的分值。例 如,对应某个指标点的某道试题的分值为10 分,则 其应得分为10 分。 .考核环节权重:该考核环节在本门课程中对该指标 点的占比。例如平时作业占30%,则相应的权重就 是30% 。 .考核环节平均分:在某个考核环节中样本学生的平 均分。一般来说,对于专业必修课,样本空间应为全 体学生。 下面以一门假想课程为例说明计算方法,其基础数据 见表5-2。 表5- 2 课程考核环节数据统计 序号考核环节权重/% 应得分平均分 1 试题1 70 10 9.33 2 试题3 70 10 8.31 3 试题5 70 10 7.59 4 试题7 70 10 7.77 5 平时作业30 100 78.94 假设该课程对应毕业要求的指标点1. 3且支撑强度为 0.其考核环节仅包括期末考试和平时作业两部分,两者在 1, 该课程最终总得分的权重为0.70%)和0.30% )。期末 7(3( 考试试题中有4道题目支撑指标点1.平时作业均能支撑 3, 指标点1.可以计算出该课程对指标 3。根据如下考核数据, 点1.081 。 3的达成度为0.2)毕业要求指标点达成度评价方法 规定毕业要求各指标点达成度的目标值为1,各指标点 达成度计算方法如下: 指标点达成度=Σ支撑课程达成度 3)毕业要求达成度评价方法 由于每条毕业要求由多个指标点构成,因此各指标点 达成度的最低值决定了该项毕业要求的达成度。毕业要求 达成度计算方法如下: 毕业要求达成度=min{各指标点达成度} 有了毕业要求达成度计算值,再依据前述的合格标准 就可以判定该项毕业要求达成与否。 4)总体毕业要求达成度评价方法 类似于上述单条毕业要求达成度的计算方法,根据下 面的方法计算出毕业要求总达成度,并根据毕业要求总达 成度判定所有毕业要求达成与否。 毕业要求总达成度=min{各毕业要求达成度} 2. 需注意的主要问题 毕业要求达成分析方面需要注意如下问题。