系统测试概述

• 软件是否按需求规格说明中确定的软件功能、性能、约束及限制等技术要求进行工作，以及软件安装到系统中以后，能否与系统的其余部分协调运行。

• 测试是否功能满足需求

• 测试是否与硬件协调运行

• 测试是否和原来就有的其它软件协调运行

• 测试是否完成系统需求对它的要求

系统测试内容

1 回归测试

2 用户界面测试

• 验证界面显示内容的完整性

• 验证界面显示内容的一致性

• 验证界面显示内容的准确性

• 验证界面显示内容的友好性

• 验证界面提示信息的指导性

• 验证界面显示内容的合理性

3 压力测试与性能测试

• 压力测试

• 性能测试

• 压力测试与性能测试

4 安全性测试

• 全面检验软件在软件需求规格说明中规定的防止危险状态措施的有效性和在每一个危险状态下的处理反应情况。

• 对软件设计中用于提高安全性的逻辑结构、处理方案，进行针对性测试。

• 在异常条件下测试软件，以表明不会因可能的单个或多个输入错误而导致不安全状态。

• 用错误的安全性关键操作进行测试，以验证系统对这些操作错误的反应。

• 对安全性关键的软件单元功能模块要单独进行加强的测试以确认其满足安全性需求。

• 功能验证
• 功能验证是采用软件测试当中的黑盒测试方法，对涉及安全的软件功能，如：用户管理模块，权限管理模块，加密系统，认证系统等进行测试，主要验证上述功能是否有效，具体方法可使用黑盒测试方法。

• 漏洞扫描
• 安全漏洞扫描主要是借助于特定的漏洞扫描器完成的。通过使用漏洞扫描器，系统管理员能够发现系统存在的安全漏洞，从而在系统安全中及时修补漏洞的措施。一般漏洞扫描分为两种类型：主机漏洞扫描器（Host Scanner）和网络漏洞扫描器（Net Scanner）。
• 主机漏洞扫描器是指在系统本地运行检测系统漏洞的程序。如著名的COPS、Tripewire、Tiger等自由软件。
• 网络漏洞扫描器是指基于网络远程检测目标网络和主机系统漏洞的程序。如Satan、ISS Internet Scanner等。

• 模拟攻击
• 对于安全测试来说，模拟攻击测试是一组特殊的黑盒测试案例，我们以模拟攻击来验证软件或信息系统的安全防护能力。

• 侦听技术
• 侦听技术实际上是在数据通信或数据交互过程，对数据进行截取分析的过程。目前最为流行的是网络数据包的捕获技术，通常我们称为 Capture，黑客可以利用该项技术实现数据的盗用，而测试人员同样可以利用该项技术实现安全测试。

5 可靠性测试

• 通过在有使用代表性的环境中执行软件，以证实软件需求是否正确实现。

• 为进行软件可靠性估计采集准确的数据。估计软件可靠性一般可分为四个步骤，即数据采集、模型选择、模型拟合以及软件可靠性评估。可以认为，数据采集是整个软件可靠性估计工作的基础，数据的准确与否关系到软件可靠性评估的准确度。

• 通过软件可靠性测试找出所有对软件可靠性影响较大的错误。

• 软件失效是由设计缺陷造成的，软件的输入决定是否会遇到软件内部存在的故障。因此，使用同样一组输入反复测试软件并记录其失效数据是没有意义的。

• 软件可靠性测试强调按实际使用的概率分布随机选择输入，并强调测试需求的覆盖面。

• 软件可靠性测试也不同于一般的软件功能测试。软件可靠性测试必须按照使用的概率分布随机地选择测试实例，这样才能得到比较准确的可靠性估计，也有利于找出对软件可靠性影响较大的故障。

• 此外，软件可靠性测试过程中还要求比较准确地记录软件的运行时间。它的输入覆盖一般也要大于普通软件功能测试的要求。

• 失效时间数据：记录发生一次失效所累积经历的时间

• 失效间隔时间数据：记录本次失效与上一次失效间的间隔时间

• 分组数据：记录某个时间区内发生了多少次失效

• 分组时间内的累积失效数：记录某个区间内的累积失效数

6 容错性测试

• 输入异常数据或进行异常操作。

• 灾难：通过各种手段，让软件强制性地发生故障。

基于线索的系统测试

1 线索的不同层次

• 单元级线索：源指令路径或DD-路径。

• 集成级线索：MM-路径。

• 系统级线索：原子系统功能序列，即端口输入和端口输出的交替序列。

2 线索的定义

• 给定通过原子系统功能定义的一个系统，系统的ASF图是一种有向图，其中的节点表示ASF，边表示串行流。

• 源ASF是一种原子系统功能，在系统ASF图中作为源节点出现。汇ASF也是一种原子系统功能，在系统ASF图中作为汇节点出现。
• SATM中“ATM卡输入”是源ASF，会话结束是汇ASF。

• 系统线索在系统的ASF图中，是一种从源ASF到汇ASF的路径。

• 给定通过系统线索定义的一个系统，系统的线索图是一种有向图，节点表示系统线索，边表示单个线索的顺序执行。

3 用例

案例研究

示例

例题