模型验证
无论你选择哪种建模方式,验证都是在利用结果得出结论之前的一个关键步骤。事实上,在模型开发过程中,验证通常要反复进行,因为你会不断加入新的改进。通过在每一步核实模型的基本行为,你可以保持很高的信心,并且容易判断究竟是哪些改动导致了新出现的、无法解释的行为。相反,如果一次性做了许多改动之后才去考察模型的行为,你就无法确定哪些改动造成了你观察到的现象,也无法确定每个改动各自贡献了多少。简而言之,在你建立起系统的第一个基本模型之后,应当循序渐进地推进,并在每一步都进行验证。
尽管“验证”这个词听起来像是让人联想到数学证明或形式化验证的正式术语,但它并不需要按那种方式来处理。验证实际上是这样一个过程:保持你对“模型与真实系统等价”这一点的信心,并保持对模型能够产生有用结果的信心。因此,需要达到何种程度才算建立了这种信心,仍然由你自己决定。通常你会综合运用下面列出的几种方法:
-
常识与直觉——这听起来似乎很朴素,却是模型验证中最重要的工具。即使你无法判断某个答案是否正确、其精确度有多高,你也应当能够判断该答案是否大致落在合理范围内,还是明显偏离你认为可信的量级。如果偏离了,模型未必就是错的,但此时就需要进一步调查。
你的常识和直觉可能来自你对真实系统或所用技术的经验,也可能来自你做的粗略数学估算,这些估算起到边界分析的作用。边界分析是一种简单计算,你预期它的结果一定比模型给出的答案更低或更高(视具体情况而定)。换句话说,如果你知道模型考虑了某些你的计算没有考虑的因素,就试着判断这些因素会使结果朝哪个方向变化。
举例来说,考虑数据包分片和协议开销之后,应用响应时间会变长还是变短?你大概会回答变长。因此,如果你的仿真模型考虑了分片,而你的简单计算没有考虑,你就可能预期仿真模型预测出更长的响应时间。
-
实测——这是最常见的验证方法,也是大多数人首先想到的方法,有人称之为与真实系统做基线比对。当然,只有当真实系统(或其某一部分)确实可以访问时,才能采用这种方法。测量工具可以是网络分析仪,例如 Network General 的 Sniffer,或 Wandel & Goltermann、Hewlett Packard 等众多厂商的产品;也可以简单到只是一只秒表,用来测量完成某项活动所需的时间间隔。有些网络、应用或协议本身也带有仪表化手段,可以报告其性能的某些方面。
这里同样需要清楚你的模型与真实系统之间存在哪些差异。当结果出现差异时——初始阶段通常都会如此——你要判断这些差异是否可以归因于模型中所做的简化。你的模型是否运行在与真实系统完全相同的条件下?
一个重要的附带说明:许多人只把实测看作验证工具。实际上,实测也可以是一种强有力的建模工具。
-
替代模型——用另一种方法再建立一个模型,你可以了解两个模型各自的行为,以及哪一个对你更合适。也就是说,在那些对你重要的运行条件下,哪一个对你想回答的问题给出了更有效的结果?这个替代模型不一定由你自己建立,它可能已经由他人提供或发表过结果;也可能是性质完全不同的模型,例如数学模型或解析模型。本质上,这里所做的与实测方法非常相似,只不过你的测量是在系统的另一个模型中进行的,而不是在系统本身上进行。
-
对照实验——这是中学理科课上熟悉的方法。构造一个测试用例,在其中你能以很高的信心知道结果应当是什么。通常做法是采用极端的运行条件,把模型的某些特定行为隔离出来。例如,如果服务器速度无限快、事务非常小,使得请求和响应都能轻松装进一个数据包,那么应用响应时间会是多少?在这种条件下,你一般可以很容易地做出简单的手工估算,并与仿真结果比较。一次良好的比较会增强你的信心,使你能够进入下一步:改变测试用例中的某一个方面。在本例中,这可以是改变事务的大小。对照实验的基本思想是:剔除大多数难以解释的行为,在它们缺席的情况下用常识完成验证;然后再用下文所述的增量分析,逐步重新引入系统中其他一些复杂机制。
-
增量分析——一次只做一个改动、而不是一次做很多改动,这一点此前已被强调为一种可靠的策略。作为一种验证技术,增量改动并分析其影响,可以帮助你理解每个改动是否合理。在项目的最后阶段,你将利用这些信息来解释:决定系统性能的重要因素究竟是哪些。这还能让你发现某些机制在组合起来时会产生有趣的行为。例如,一条慢链路可能并不会损害系统性能,一个很低但不为零的帧丢失率也可能不会;但两者结合在一起,却可能使端到端响应时间急剧上升。总之,增量分析的目的是对模型参数做实验,从而对各个独立特性的行为建立信心。
只要验证不断确认模型正如你所期望的那样与真实系统保持等价,验证就是一个很有回报的过程。但这种情况并非总是出现,因此当验证结果不利时,你必须有一套应对方法。遇到这种情形时,可以采取的典型做法有以下几种:
- 回到上一个已验证的状态——如果你在之前的某个阶段已经对模型做过验证,那么保存当前模型,然后退回到它之前的形态(这也凸显了保存模型每个重要版本的价值,尤其是在每次验证之后)。首先确认你能够复现之前的结果,然后一次一个地重新引入改动并逐一验证。这有助于你确定是哪个改动使模型的有效性变差。
- 把模型拆解为更容易验证的部分——如果还没有这样做,就先验证该模型的更简单版本。去掉你认为非必需的组件,直到你认为结果讲得通为止。系统中的对象少了,需要配置的参数也就少了,出错的空间也随之减小。然后再逐步搭建回更大的模型,并在每一步都进行验证。
- 质疑你做出的所有假设——此时你需要回顾自己做出的所有重要假设。假设要么是关于系统实际如何工作的,要么是关于某项简化的影响足够小。在 Modeler 这类面向组件的建模环境中,你的假设可能体现在选用哪些模型库对象、以及如何设置它们的参数上。你还可能对背景流量或导入的数据包跟踪做了某些假设。所有这些输入模型的量都应当重新检查,尤其是那些你认为可能显著影响验证结果的部分。
- 验证“验证”本身——问题也可能不在你的模型,而在于对照实验本身有缺陷。某次测量可能方法不当或被误读;如果你是与另一个模型或某个数学计算做比较,那个模型或计算本身也可能是错的。
精确的结果与有用的结果
虽然人们通常都希望得到高度精确的结果,但需要强调:验证并不总是意味着仿真结果与实测结果(或你选用的其他比较方式)完全吻合。出现差异是意料之中的,也可以接受,前提是你认为自己理解这些差异并能掌控它们。换句话说,你应当能够解释这些差异,并理解它们相对于你想回答的问题而言有多重要。
一种不追求精确结果的常见做法是灵敏度分析。其目标是改变模型的某个输入(例如应用服务器返回响应的平均大小),并确定它对模型输出(例如应用响应时间)的影响。在这种情况下,你更关心的可能是这两个量之间的关系,而不是它们是否绝对正确。也就是说,响应大小是否是决定响应时间的主导因素,还是其他因素更为重要?例如,如果你发现应用的响应时间在响应大小可能取值的整个范围内变化很小,你就可以把精力集中到研究系统的其他部分上。