离散事件仿真的相关问题

运行仿真通常被视为建模与仿真流程中倒数第二步,最后一步是结果分析。但在建模过程中,仿真往往要进行很多次:单次仿真用于验证和试验;最后,你通常会运行一系列仿真,用模型探索不同的问题和不同的方案。当你开始运行仿真时,会遇到几个关于仿真运行配置的重要问题。

本节讨论以下问题:

仿真时长

最常见的问题之一是如何选择仿真的时长。这里所说的时长是指被仿真的时间长度,而不是完成仿真所耗费的真实墙钟时间。我们一般把墙钟时间称为实时(real-time),把仿真中被建模的时间称为仿真时间(simulation time)。确定仿真时长通常取决于两个因素之一:为了获得有效结果需要仿真多少活动;或者干脆就是项目所要求的活动时间跨度。前者需要一些解释,后者则不言自明。但需要注意:无论项目要求仿真的时间跨度多长,你都应确保已经仿真了足够长的时间,使模型中能够出现具有代表性的活动。

随机性

需要仿真的活动通常已知以某个频率或平均速率发生。例如,如果你要仿真用户以每分钟 1 次的速率提交事务,并希望为每个用户至少获得 30 个事务的数据,那么很容易就能选定 30 分钟作为最短仿真时长。

需要认识到,大多数仿真都包含随机性因素。你可以把仿真中的流量源配置成以完全规律的模式产生应用请求或其他形式的流量,但通常并非如此:许多参数是用概率函数配置的,这些概率函数刻画某种结果出现的可能性。这类概率函数常被称为 PDF,即概率密度函数(probability density functions)。

例如,服务器针对某个请求生成响应所需的时间,每次测量的结果都不相同。如果在典型工作日的同一时刻进行足够多次测量,我们就可以构造出“服务器响应生成时间”的 PDF。事实上 Modeler 提供了完成这件事的工具,即 Import Packet Trace 功能,后文会加以介绍。这样得到的 PDF 可以用来告诉服务器对象如何对响应生成的时序建模。由于响应生成时间略有差异,而响应大小、请求大小等其他参数也可能变化,作为这些因素之函数的整体事务响应时间也会随之波动。这与真实系统中的变化完全一致:每次测量都不相同。

由于我们试图分析的统计量可能上下波动,因此不能完全信任单次被仿真活动(比如上面例子中的一个事务)的结果。当然,单次测量也能告诉我们一些信息,即这个值是可能出现的。这在某种意义上是有用的信息:某一次特定的测量可能超出我们可接受的范围,因此所提议的设计需要重新审视。但一般而言,我们希望通过考察所关注量的一个样本集合,获得更完整的图景。所以我们会收集许多事务响应时间,办法或是运行一系列仿真,或是干脆让仿真运行更长时间,使应用在稍后能够再次产生新的事务。

需要运行多少次仿真

总共需要多少样本是一个难以回答的问题。之所以困难,原因之一在于它取决于所关注量的波动程度。凭直觉这也说得通——如果你得到的 10 个样本落在 26 到 28 之间、平均值为 26.5,你就会很有把握地认为,如果再运行若干次仿真,结果也会落在这个范围内;因此仅凭 10 个样本,你就可以对范围和平均值有相当的信心。但如果同样的 10 个样本在 20 到 40 之间变化、数值在这两个界限之间散布得很开,你就会因为掌握的信息不够而感到不安。

对一组已采集的样本,可以从样本中提取一个区间,并给出“真实平均值落在该区间内”的可能性,从而确立信心。这里所说的真实平均值,指的是我们在真实系统中测量海量样本并计算其平均所得到的值。因此对于上面的例子,我们可能这样表述:根据仿真,我们有 95% 的信心认为实际平均响应时间介于 26 秒到 28 秒之间。这种描述信心的方式同样符合直觉,因为我们永远无法确定从仿真中获得的样本确实具有代表性:它们可能全都是异常值(所谓“巧合值”);但随着样本增多,这种情况出现的概率会迅速下降。因此,采集更多样本能增强我们的信心,但永远不能提供 100% 的保证。要提高确定性,我们可以扩大所寻求的平均值区间,或者采集更多样本。

你可以依靠直觉来判断样本是否足够,也可以采用一些经验法则(许多实践者推荐以 30 作为良好的样本数),此外还有确定置信度的数学方法。Modeler 支持计算置信区间,从而帮助你运用这些方法。置信区间可以通过两种方式获得:

  • 每个图形都提供的 Statistic Info 操作,可以让你查看该图形中所呈现数据点在 80%、90%、95%、98% 和 99% 置信水平下的置信区间。但请注意下文中的重要限定条件。
  • Show Confidence Intervals 操作以图形方式显示置信区间,但它假定你的数据是采用标量统计量采集方式(即基于运行多次仿真)得到的。它一般不适用于横轴标签为时间的图形。

在使用置信区间时,有一个关于样本之间关系的重要事实需要留意:这些样本必须是相互独立的。通俗地说,这意味着任意两个样本都不能彼此影响对方的取值,也不能间接地关联到同时影响二者取值的另一个条件。换句话说,第一个样本被采集这一事实,不应影响第二个样本被采集的可能性。在状态起重要作用的系统中,这种依赖关系是可能出现的。下面仍以应用响应时间为例,帮助你理解何时可以认为样本是相互独立的:

  • 一个客户端通过网络连接到一个服务器,请求逐个经由网络提交给服务器。每当有响应返回给客户端时,就测量一次应用响应时间,并对 25 个事务依次测得响应时间。这些样本相互独立,因为它们彼此之间没有影响:每个事务完成后,系统基本上回到该事务发起前所处的状态。如果你改用不同的随机种子值分别运行多次仿真、每次仿真只取一个样本,应当得到与之相近的一组结果。
  • 多个客户端通过网络连接到一个或多个服务器并向其提交请求。与上一个例子相同,某个客户端当前的事务必须完成之后才能提交下一个事务,并在该客户端上测量连续各次事务的响应时间。尽管网络中存在并发活动,这些样本仍然是相互独立的,因为前后各次实验彼此并不影响(或者,只要它们在时间上间隔足够开,至少影响不大)。其他客户端的活动可以聚合起来,看作构成了服务器延迟的统计特性。该客户端提交了第一个事务这一事实,不会显著影响它提交的第二个事务的响应时间。
  • 配置与上一个例子相同,但现在我们从所有客户端采集样本,可能得到成百上千个样本。唯一的区别在于我们从更多位置纳入了更多测量。此时样本并非相互独立,因为相邻的样本由彼此影响行为的不同客户端报告。具体地说,如果客户端 A 和 B 几乎同时提交事务并几乎同时完成,二者记录的结果都会与它们分别单独提交事务时不同。这是因为服务器建模了处理器资源的争用。因此,你不能采信 Statistic Info. 操作给出的置信区间。

最后,如果你想在 Modeler 提供的统计量上使用置信区间测量,请阅读下文关于统计量采集的小节,其中给出了在仿真之前如何配置所需统计量的重要信息。

关于仿真结果中的置信水平以及运行多次仿真的价值,更多信息见《Stochastic Modeling》第 393 页。

统计量的采集

在运行仿真之前,你通常要指定需要采集哪些统计量。Modeler 不会自动采集系统中的所有统计量,因为可用的统计量非常多,磁盘空间可能不足以存储它们。指定统计量是通过 GUI 完成的简单任务,一般并不耗时。

不过,统计量采集有一个重要的细节,涉及仿真器在把所报告的统计量写入仿真结果文件之前如何处理它们。默认情况下,几乎所有统计量都以所谓分桶(bucket)方式采集。所谓桶,是指统计量的取值被分组并加以处理,从而减少整次仿真中该统计量所报告的样本数量。这大幅降低了每个统计量占用的磁盘空间,通常使你能够采集任意多种统计量。

可以把一个统计量想象成拥有一组原始取值,由仿真中的相应事件驱动。仿真器把落在某个时间区间内的连续样本归为一组,一起处理,并作为一个值呈现。这个时间区间就是桶,桶的宽度(以秒计)可以由用户控制。控制该参数最简单的方式,是在运行仿真之前通过 Configure Simulation 对话框中的 Values per Statistic 参数,为所有统计量统一设置。这实际上决定了每个桶所覆盖的时间跨度,因为它把仿真时长(也在同一对话框中指定)划分为固定数目的区间。

继续以应用响应时间的测量为例:一组取值对应的不是一个事务,而是许多个事务完整完成(即完全返回到客户端)。具体地说,落在例如 10 秒长的桶内的所有事务的响应时间会被平均到一起,只在统计量的图形中绘制一个值。类似地,链路或 PVC 的利用率报告的是固定大小桶内的平均利用率,而不是瞬时值。总体而言,按桶呈现统计量的方式对多数用户来说是熟悉且有意义的,因为网络监视或报表工具常常就是这样呈现信息的。但在某些场合,你会希望采用其他的数据采集与呈现方式,本节余下部分将加以说明。

除了统一控制所有统计量的桶宽之外,你还可以针对每个统计量单独控制桶宽以及统计量采集的其他方面。做法是在 Choose Results 对话框中右键单击所需的统计量,然后选择 Change Collection Mode 操作。该统计量的默认配置显示为 Total of <default> Values,表示将使用 Values per Statistic 参数中给出的设置。你可以选择另一个样本数;也可以使用该对话框的高级模式,选择其他采集模式(也称捕获模式),如果你不愿使用面向分桶的采集方式。

其中特别值得关注的是 All Values 模式。这种模式很重要,因为它可以消除分桶采集模式中所做的平均或其他处理的影响。因此,例如你可以观察单个事务的测量值,而不是看到一个桶内许多事务的平均结果。在需要时,这有助于你更深入地理解仿真中实际发生的事情。在验证阶段,特别推荐对某些统计量使用这种模式,因为你能对模型的行为获得更深的洞察。最后,如果你想采用上文所述方法来度量置信度、判断自己是否已经仿真了足够多的系统活动,使用 All Values 模式是必不可少的。

有时,用 All Values 模式看到的内容会让你意外。以一个利用率统计量为例:利用率从根本上是对一种“开—关”型过程做平均。换句话说,在某一时刻,链路要么未被使用,要么正在用于传输数据。为了更深入地呈现链路在一段时间内的使用情况,Modeler 会对桶做平均。但当你用 All Values 查看底层信息时,看到的将是一串 1 和 0。而且你很可能记录到多得多的数据点,所以应当谨慎使用 All Values 采集模式,一次只对少量统计量使用。再举一个例子:考虑以字节每秒计量的吞吐量统计量。吞吐量统计量的常规处理方式是采用 Sum / Time 计算的分桶模式,即把所有取值累加后除以桶的宽度。在这种情况下使用 All Values 模式,显示的将是一系列以字节计的数据包大小,因此你会看到各个数据包在被处理时的实际大小。

关于统计量采集的其他模式,更多信息见《Statistic Collection Mechanisms: Probes》第 378 页。

平台差异

不同操作系统的实现可能产生略有差异但同样有效的结果。例如,在 Linux 32 位架构上运行,与在 32 位 Windows 或 Linux/Windows 64 位架构上运行相比,你可能会看到所采集统计量的取值或离散事件仿真中事件数量的差异。这是由于中间结果所采用的浮点精度不同:32 位 Linux 使用 64 位尾数,而其他平台使用 53 位尾数。这种差异会影响 DES、Flow Analysis、Transaction Analyzer 以及任何使用浮点运算的操作的结果。

本站文档由 北京智网畅联科技有限公司 整理、翻译并提供 · Documentation compiled and provided by Beijing ZNetLink Technology Co., Ltd.

交流群 · QQ Group:OPNET/智网妙算网络仿真交流群(群号 486383494)

原文档 © 2017 Riverbed Technology · 本站为公益翻译,由 AI 辅助完成,请仔细甄别

Original documentation © 2017 Riverbed Technology. Community translation, AI-assisted. Contact: jiazequn@znetlink.com