三维CAD软件性能自动化测试与变粒度可视评价.pdf

针对三维C A D软件性能指标缺乏参照基准而难以量化、现有软件性能评价方法不够直观等不足,提出了基于自动化测试与三角变换的三维C A D软件性能变粒度可视评价方法。首先,开发三维C A D软件统一测试接口和自动化测试工具,设计测试用例,通过相同的工具和用例对各三维C A D软件进行统一自动化测试,获取性能数据,通过国外对标软件测试建立参照基准,实现性能指标的量化;其次,对性能测试数据进行预处理,根据各指标的重要性构造归一化数据矩阵,通过三角多项式变换分别构造粗、细粒度下三维C A D软件性能的调和曲线图,引入基于乐观锁思想的数形结合法,基于格拉布斯准则与数形结合法检验数据的有效性;最后,通过变粒度的调和曲线可视聚类分析,直观得出三维C A D软件性能的评价结果。实例结果表明:所提方法能实现国产软件与对标软件性能的差异分析,直观地获得了三维C A D软件性能评价结果,为用户选择合适的软件提供了直观的决策依据,并与一般的基于层次分析的评价方法进行一致性比较,验证了所提方法的可靠性和有效性。关键词:三维C A D软件;自动化测试;三角变换;变粒度;可视评价中图分类号:N 9 4 5.1 6 文献标志码:AD O I:1 0.7 6 5 2/x j t u x b 2 0 2 3 0 8 0 1 0 文章编号:0 2 5 3-9 8 7 X(2 0 2 3)0 8-0 0 9 2-1 3A u t o m a t i cT e s t i n ga n dV a r i a b l e-G r a n u l a r i t yV i s u a lE v a l u a t i o no f t h eP e r f o r m a n c eo f 3 DC A DS o f t w a r eCHE NGJ i n1,Y EH u q i a n g1,F E NGJ i n s o n g2,L I UZ h e n y u3,T ANJ i a n r o n g1(1.S t a t eK e yL a b o r a t o r yo fF l u i dP o w e ra n dM e c h a t r o n i cS y s t e m s,Z h e j i a n gU n i v e r s i t y,H a n g z h o u3 1 0 0 5 8,C h i n a;2.W u h a nK a i m uI n f o r m a t i o nT e c h n o l o g yC o.,L t d.,W u h a n4 3 0 0 7 6,C h i n a;3.S t a t eK e yL a b o r a t o r yo fC A D&C G,Z h e j i a n gU n i v e r s i t y,H a n g z h o u3 1 0 0 5 8,C h i n a)A b s t r a c t:T h ep e r f o r m a n c e i n d e x e s o f 3 DC A Ds o f t w a r e a r ed i f f i c u l t t oq u a n t i f yd u e t o t h e l a c ko fb e n c h m a r k sw h i l et h ee x i s t i n ge v a l u a t i o n m e t h o d sf o rs o f t w a r ep e r f o r m a n c ea r en o ti n t u i t i v ee n o u g h.T oo v e r c o m e t h e s es h o r t c o m i n g s,av i s u a l e v a l u a t i o nm e t h o df o r t h ep e r f o r m a n c eo f3 DC A Ds o f t w a r e i sp r o p o s e db a s e do nt h ea u t o m a t i c t e s t i n ga n dt r i a n g u l a r t r a n s f o r m a t i o n.F i r s t l y,t h eu n i f i e d i n t e r f a c e sa n dt h ea u t o m a t i ct e s t i n gt o o l f o r3 DC A Ds o f t w a r ea r ed e v e l o p e da n dt h et e s t c a s e sa r ed e s i g n e d.T h e nt h eu n i f i e da u t o m a t i c t e s to fd i f f e r e n t t y p e so f 3 DC A Ds o f t w a r e i sc o n d u c t e db yu t i l i z i n gt h es a m et e s t i n gt o o la n dt e s tc a s e st oo b t a i nt h ep e r f o r m a n c ed a t a.A n dt h ep e r f o r m a n c ei n d e x e sa r eq u a n t i f i e db a s e do nt h et e s t i n gr e s u l t so ff o r e i g nb e n c h m a r ks o f t-w a r e.S e c o n d l y,t h ep r e p r o c e s s e dp e r f o r m a n c ed a t aa r eu t i l i z e dt oc o n s t r u c t t h en o r m a l i z e dd a t a*收稿日期:2 0 2 3-0 1-2 5。作者简介:程锦(1 9 7 8),女,教授,博士生导师。基金项目:国家重点研发计划资助项目(2 0 2 0 Y F B 1 7 0 9 0 0 1);国家自然科学基金资助项目(U 2 2 A 6 0 0 1)。网络出版时间:2 0 2 3-0 4-2 5 网络出版地址:h t t p s:k n s.c n k i.n e t/k c m s/d e t a i l/6 1.1 0 6 9.T.2 0 2 3 0 4 2 5.1 1 5 7.0 0 2.h t m l 第8期程锦,等:三维C A D软件性能自动化测试与变粒度可视评价 h t t p:z k x b.x j t u.e d u.c n m a t r i x e sa c c o r d i n gt ot h e i m p o r t a n c eo fd i f f e r e n tp e r f o r m a n c e i n d e x e s.A n dt h eh a r m o n i cc u r v e so f c o a r s ea n df i n eg r a n u l a r i t i e sc o r r e s p o n d i n gt ot h ep e r f o r m a n c eo f3 DC A Ds o f t w a r ea r ec o n-s t r u c t e db a s e do nt h e t r i a n g u l a r t r a n s f o r m a t i o n.T h ev a l i d i t yo f t h ep e r f o r m a n c ed a t a i sc h e c k e db yb o t h t h eG r u b b sC r i t e r i o na n d i n t u i t i v e a n a l y s e s,w h e r e t h e l a t t e r i sb a s e do n t h e i d e ao f o p t i-m i s t i c l o c k.F i n a l l y,t h ep e r f o r m a n c e e v a l u a t i o nr e s u l t so f 3 DC A Ds o f t w a r e a r eo b t a i n e dq u a l i t a-t i v e l yt h r o u g ht h e i n t u i t i v ec l u s t e ra n a l y s e so f t h eh a r m o n i cc u r v e s i nv a r i a b l eg r a n u l a r i t i e s.T h er e s u l t so ft h ec a s es t u d yd e m o n s t r a t et h a tt h ep r o p o s e d m e t h o dc a na n a l y z et h ep e r f o r m a n c ed i f f e r e n c e sb e t w e e nd o m e s t i cs o f t w a r ea n db e n c h m a r ks o f t w a r ea n di n t u i t i v e l yo b t a i nt h ep e r-f o r m a n c ee v a l u a t i o nr e s u l t so f 3 DC A Ds o f t w a r e,w h i c hp r o v i d e su s e r s i n t u i t i v ed e c i s i o nb a s i s t oc h o o s ea na p p r o p r i a t es o f t w a r e.B e s i d e s,c o m p a r e dw i t ht h eg e n e r a l e v a l u a t i o nm e t h o db a s e do na n a l y t i ch i e r a r c h yp r o c e s s,t h er e l i a b i l i t ya n de f f e c t i v e n e s so f t h ep r o p o s e dm e t h o da r ep r o v e d.K e y w o r d s:3 DC A Ds o f t w a r e;a u t o m a t i c t e s t i n g;t r i a n g u l a r t r a n s f o r m a t i o n;v a r i a b l eg r a n u l a r i t y;v i s u a l e v a l u a t i o n 通用三维C A D软件的功能基本类似,差别主要体现在性能上,包括各类功能操作的响应时间、内存占用量、运算精度等。而这些性能指标的优劣通常是用户选择三维C A D软件产品时重点考虑的因素。但三维C A D软件的性能表现受测试环境、测试用例、测试过程等因素的影响很大,难以直接确定指标的绝对值。采用相同的测试用例、方法和工具,在统一测试环境下对多款不同的三维C A D软件进行性能对比测试并记录其相应的性能数据,根据国外对标软件测试结果建立性能指标参照基准,进而实现对各款软件的性能差异分析评价,既有助于国产三维C A D软件企业客观认识自身软件产品与国外先进软件的性能差距,又能帮助用户更好地选择符合其应用需求的三维C A D软件产品。现有通用的软件自动化测试工具1-3多采用图像识别或全局钩子的方式捕获用户对软件的操作步骤及参数输入并形成录制脚本,基于该脚本驱动被测软件执行相应操作。然而,三维C A D软件强依赖于用户交互操作,用户必须在其提供的画布区域内通过鼠标点击与移动进行模型绘制,通用的自动化测试工具难以模拟该类操作;三维C A D软件的操作对象是一个三维模型,无法直接通过图像或数据文件的比对进行结果判定;三维C A D软件的功能与性能强耦合,草图设计、实体建模等各类功能自动化测试过程中需同时监控软件响应时间、占用内存等性能特性,以分析不同软件的性能差异。因此,通用自动测试工具并不适用于三维C A D软件测试,要实现对三维C A D软件的性能评价,首先需开发针对三维C A D软件的自动化测试工具,设计测试用例,实现对不同三维C A D软件性能的统一自动化测试。利用自动化测试工具获得的三维C A D软件执行各类测试用例时的响应时间、内存占用量、运算精度等各类性能测试数据具有不同的量纲和不同的数量级,其值难以直接反映软件性能优劣。而现有软件决策评价领域的相关研究多侧重于根据测试数据建立数学模型,并利用逼近理想解排序法4-5、层次分析法6-7等来评价软件优劣。S i等8针对在开放网络中分布式运行的软件实体,综合考虑传统的软件指标和与质量控制措施相关的指标,提出了基于贝叶斯推理的自底向上逐层计算软件实体可靠性的方法;岳川等9针对传统评价方法量化软件指标时存在的困难,引入区间数表示软件指标得分信息,借助标准化投影模型和逼近理想解排序法,提出了一种包含加权评价矩阵的软件质量评价方法;C h e n等1 0针对多状态制造系统的运行特性,提出通过扩展状态任务网络来挖掘、集成和分析系统运行质量数据,并在计算预期产品合格率的基础上,利用概率方法评估任务的可靠性。然而,上述方法所得的评价结果通常是经一系列数学处理及运算后的数据,期间因加权等操作丢失了大量反映软件性能优劣的原始数据信息,且评价结果不够直观,所以需研究从枯燥繁杂的性能测试数据中洞察其所蕴含的软件性能优劣信息的有效可视化手段。将数据可视化技术1 1-1 3引入三维C A D软件性能评价,通过直观简明的图表1 4分析抽象数据的本质,有助于快速洞察和准确把握三维C A D软件性能优劣。目前,已有学者将可视化技术应用于决策评价领域。C h e n等1 5提出通过模糊逻辑对各种表现形式的主观评价结果进行量化,并结合证据理论改进量化结果,利用模糊神经网络训练后将系统评价结果与主观评价结果在点线图中进行对比,获得了39西 安 交 通 大 学 学 报第5 7卷 h t t p:z k x b.x j t u.e d u.c n 符合实际的评价结果;L o u等1 6针对现有加性模型整合评估数据时存在不一致的问题,通过灰色关联分析法减少主观偏差,并采用二次加性模糊测度进行信息集成,得到方案排序结果,最后通过敏感性雷达图分析验证了方法的稳定性;卫博雅等1 7针对传统加权信息融合方法不能有效降低信息损失、快速做出合理判断的问题,将有序序列的数据通过可视图转换法转化到网络拓扑结构中,进行权重衡量,获得了更加客观准确的计算结果。然而,上述研究仅将可视化技术应用于评价结果的表示或验证环节,仍未能克服评价过程中原始测试数据信息被大量丢失的不足。针对上述问题,提出了基于统一自动化测试和三角变换的三维C A D软件性能变粒度可视评价方法。1 三维C A D软件性能的统一自动化测试1.1 三维C A D软件统一测试接口适配目前,国内外各三维C A D软件所开放的二次开发接口的定义、功能和实现都有较大差异,无法直接利用这些接口对软件进行自动化测试。但是,国内外各三维C A D软件均是以对象和行为概念来提供二次开发接口,其接口对象均能覆盖三维C A D系统的基本功能,均提供接口函数库,支持通过某种程序设计语言和相应开发工具实现二次开发,这些共同点使得不同三维C A D软件的公共接口表达成为可能。鉴于此,首先根据国外先进的三维C A D软件(C AT I A、C R E O、N X)二次开发技术的共同点,引入对象和行为的概念,对测试接口进行抽象,将复杂的三维C A D功能分解为一系列原子级功能并定义为可为外部调用的A P I接口,给出三维C A D软件的统一测试接口规范。然后,根据该定义对不同的三维C A D软件进行接口适配,如图1所示,以便能通过相同的测试用例脚本和自动化测试工具实现对各三维C A D软件的统一自动化测试,在极大提高测试效率的同时获得具有可比性的软件性能测试结果数据,并通过国外对标软件的测试建立性能指标的参照值,进而实现各国产软件性能的量化与评价。图1 三维C A D软件统一接口适配与自动化测试框架F i g.1F r a m e w o r kf o r t h ea d a p t a t i o no fu n i f i e d i n t e r f a c e sa n da u t o m a t i c t e s t i n go f 3 DC A Ds o f t w a r e1.2 基于相同工具和用例的三维C A D软件性能测试 通过可解释P y t h o n脚本表达三维C A D软件各类性能测试用例,并以文件形式存放在本地磁盘,支持通过操作系统的目录管理功能完成对测试用例脚本的分类管理。基于P y t h o n与C+的双向集成技术实现对三维C A D软件性能的自动化测试,如图2所示。一方面,通过C/C+集成P y t h o n,调用P y t h o n入口函数启动测试;另一方面,通过P y t h o n脚本集成C/49 第8期程锦,等:三维C A D软件性能自动化测试与变粒度可视评价 h t t p:z k x b.x j t u.e d u.c n C+测试接口,实现通过测试用例脚本调用三维C A D软件的标准A P I接口完成测试,创建模型并保存为S T P模型文件,同时输出各接口的执行时间及内存等性能数据。图2 基于P y t h o n与C+双向集成的自动测试 F i g.2 A u t o m a t i c t e s t i n gb a s e do nb i d i r e c t i o n a l i n t e g r a t i o no fP y t h o na n dC+基于P y t h o n与C+双向集成技术开发的三维C A D软件自动化测试工具如图3所示。该自动化测试工具基于国内外各三维C A D软件的统一测试接口,通过一键式操作自动完成三维C A D各类建模操作。通过在测试用例库中选择草图设计、实体建模等各类测试用例脚本,在同一界面环境下切换不同的三维C A D软件,自动执行单个或批量的测试用例,输出测试结果文件,并记录相应的响应时间、内存占用、运算精度等性能数据。1.3 统一自动化测试原理和工具的功能范围结合图1、图2,统一自动化测试的原理如下:将国内外三维C A D软件的外部开发接口依据定义的统一规则进行改造或二次开发,整合出统一的调用接口,接口覆盖新建模型文件、新建草图文件、新建拉伸特征、新建方体毛坯、保存S T P文件、保存性能数据等功能;基于C+开发的三维C A D软件自动化测试工具集成P y t h o n,并通过P y t h o n函数调用P y t h o n语言编写的测试脚本(测试用例);测试脚本集成基于C+开发的统一测试接口,进而调用统一测试接口对需要测试的软件按照脚本中定义好参数的模型进行建模及测试;设计的底层代码通过“监测器”记录时间和内存的变化,输出相应用例的测试数据。其中,测试数据通过“测试工具测试用例测试接口三维C A D软件”这一整套的测试流程获得。依据三维C A D软件自动化测试工具所拥有的统一接口覆盖的功能,设计并编写覆盖草图设计、实体建模、曲线曲面建模、布尔运算、装配设计、尺寸标注、工程图设计、压力测试、模型保存、模型加载等性能的测试用例,每个方面拥有个数不等的不同复杂程度的用例模型,且后续可继续按需扩展,如图3所示。通过在测试工具中选择需要进行测试的三维C A D软件,点击“启动C A D”打开对应的三维C A D软件,选择结果存放目录和用例(可选择多个),点击“执行测试”,前端显示的三维C A D软件便会依据脚本按序进行建模过程,后端“检测器”相关代码会记录相关数据,待测试用例执行完后,结果目录中就会出现所选用例的时间消耗和内存占用等数据的E x c e l文件。点击“合并报表”可以将不同三维C A D软件测得的同一个测试用例的数据合并到一个表格中。图3 三维C A D软件自动化测试工具F i g.3 A u t o m a t i c t e s t i n gt o o l f o r3 DC A Ds o f t w a r e2 三维C A D软件性能变粒度可视评价2.1 基于三角变换的三维C A D性能测试数据可视化 设有n款待评价的三维C A D软件和一款对标软件,选取k个二级性能指标,通过图3所示的自动化测试工具,选择对应于二级指标的合适数量和测59西 安 交 通 大 学 学 报第5 7卷 h t t p:z k x b.x j t u.e d u.c n 试内容的用例,基于相同的用例对所有n+1款软件进行重复的m次自动化测试,然后将所记录的性能测试数据依据统一的边界值(最大值和最小值)进行归一化处理去除量纲,最终整合出一个归一化的性能数据矩阵X(n+1)mk。三维C A D软件性能测试数据矩阵X(n+1)mk的每一行都是一个高维的数据向量。为将高维空间中的样本点投影到二维平面上以增强数据可读性,并直观地进行性能分析,将数据矩阵X(n+1)mk的每一行数据向量Xi=(Xi,1,Xi,k),(1ik)作如下三角变换fi(t)=Xi,12+Xi,2s i n(t)+Xi,3c o s(t)+Xi,k-1s i n(k-12t)+Xi,kc o s(k-12t),若k为奇数Xi,12+Xi,2s i n(t)+Xi,3c o s(t)+Xi,ks i nk2t ,若k为偶数 (1)式中:t-,。当t在规定的区间内时,数据矩阵X(n+1)mk中的每一行测试数据都可以生成一条关于t变量的曲线,从而得到(n+1)m条曲线,一起构成调和曲线图。式(1)中,t前的系数越大,对应三角函数频率越大,影响波动次数,而每个三角函数前面的系数越大,则振幅越大,影响曲线纵向位置;三角变换表达式的第一项不受三角函数取值界限影响,能在很大程度上影响调和曲线的振幅;在系数的数量级相差不大时,越靠前的系数越能控制曲线的位置,越靠后的系数越能控制曲线的波动情况。鉴于曲线位置是分析调和曲线图的依据,故在安排三角变换表达式各项系数Xi,j(1ik,1j(n+1)m)顺序时,通常将对聚类分析有重要贡献的系数放在前面,也就是将对三维C A D软件总体性能有较大影响的指标数据作为系数放在较前面,以使生成的调和曲线更直观地反映原始性能测试数据信息。各指标的重要性程度由通过层次分析法(AH P)获得的权重表示。为避免重复,此处假设式(1)中的系数已按重要性程度排序,即数据矩阵X(n+1)mk已依据三维C A D软件性能指标重要性按列排序。式(1)的三角变换可推导出如下数学性质。性质1 对于任意两个三维C A D软件性能测试数据向量Xp、Xq,用L2范数来度量两向量对应的调和曲线fp(t)、fq(t)之间的偏离程度d2fp(t)fq(t)=|fp(t),fq(t)|2=-(fp(t)-fq(t)2dt(2)将式(1)代入式(2),可得d2fp(t)fq(t)=kj=1(Xp,j-Xq,j)2(3)用欧几里得度量来表示k维空间中两个样本点Xp(Xp,1,Xp,2,Xp,k)与Xq(Xq,1,Xq,2,Xq,k)间的欧式距离,即向量Xp、Xq之间的欧氏距离为d2XpXq=kj=1(Xp,j-Xq,j)2(4)由式(3)、式(4)可知,两调和曲线偏离程度的平方恰好是其对应两向量欧式距离的平方的倍d2fp(t)fq(t)=d2XpXq(5)综上,两条调和曲线之间的偏离程度与对应两行性能测试数据向量间的距离呈线性关系,可以通过两条调和曲线之间的偏离程度来表示两行测试数据样本的差距,也就得到了两次性能综合的差距。由于两条调和曲线之间的偏离程度可通过直观观察和分析定性得出,该性质使得聚类现象和离群点均可以直观地在调和曲线图中观察获得。性质2 由于三角函数振幅由其系数决定,故从测试数据到调和曲线的三角变换在一定程度上保持了线性,若一行测试数据向量Xl的所有数值都小于Xp而大于Xq,那么Xl对应的调和曲线位于Xp、Xq之间若Xp,jXl,jXq,j,1jk则fp(t)fl(t)G(d),(h-1)m+1ih m时,判定其测试数据异常,需在编写的三角多项式变换程序中通过返回函数找到对应的数据向量,进行删除或替换操作,否则未发现异常值,认为当前性能测试数据集有效。2.4 基于调和曲线聚类分析的三维C A D性能可视评价 针对无离群曲线的A n d r e w s调和曲线集,将n款软件性能测试数据生成的曲线集与对标软件性能测试数据生成的曲线集分别进行两两比较。根据调和曲线的性质直观分析三维C A D软件性能优劣的具体方式为:若某款待评价软件和对标软件对应调和曲线集间的趋势差异和曲线间距越小(具体表现为曲线“拧在一起”的聚类现象),则两款软件的性能越接近,该待评价软件的性能越优;反之,若某款软件和对标软件对应调和曲线集之间的趋势差异和曲线间距越大,则两款软件性能相差越大,该待评价软件的性能越差。当存在多款待评价软件对应的调和曲线集与对79西 安 交 通 大 学 学 报第5 7卷 h t t p:z k x b.x j t u.e d u.c n 标软件的调和曲线集均存在多个相互交叉点时,可通过分析待评价软件的调和曲线集与对标软件调和曲线集的相交点数目来判断其聚类程度。具体地,两组曲线集的交点数越多,则表明两款软件的性能越接近,待评价软件的性能越优。3 三维C A D软件性能测试与评价流程基于统一自动化测试和三角多项式变换的三维C A D软件性能变粒度可视评价方法流程如图4所示,具体步骤如下。步骤1 确定三维C A D软件性能评价指标集,根据三维C A D软件性能测试需求定义统一测试接口,对各三维C A D软件进行接口适配;利用自动化测试工具和测试用例(即P y t h o n测试脚本)对各三维C A D软件进行可比性测试,输出各软件的性能测试结果数据。步骤2 对性能测试数据进行预处理,根据各指标的重要性程度构造归一化性能测试数据矩阵。步骤3 采用变粒度可视评价方法,从粗、细两个粒度分别通过式(1)对归一化数据矩阵进行三角多项式变换,生成对应的调和曲线图。步骤4 通过式(7)(1 0)判断调和曲线图中有无离群曲线。若有,则进行删除替换操作,得到无离群曲线的调和曲线图;若无,则直接进行下一步分析。步骤5 通过曲线间的欧式距离或曲线相交点数目对各三维C A D软件性能测试数据生成的调和曲线图进行可视化聚类分析,得到粗、细粒度下的三维C A D软件性能的可视评价结果。图4 提出方法的流程图F i g.4 T h e f l o w c h a r to f t h ep r o p o s e dm e t h o d4 应用实例以国内外3款典型的三维C A D软件C AT I A、ZW 3 D、KM 3 D C A D(分别用A、B、C表示)性能评价为例,验证提出的三维C A D软件性能可视评价方法的可行性与有效性。其中C AT I A拥有法国达索公司自研的C GM几何建模内核,性能极强,3款中性能最优,为公认的对标软件。4.1 三维C A D软件性能测试数据获取选择实体建模、布尔运算、模型加载、模型保存作为三维C A D软件性能评价一级指标,各一级指标又由其对应的时间消耗和内存占用量组成,故共有8个二级性能指标,各二级性能指标数据直接由自动化测试获得。通过相同的测试用例和基于统一接口的自动化测试工具,在相同测试环境下调用3款软件进行自动化测试。具体环境配置如下:处理器为I n t e lX e o nG o l d6 2 2 6 R,C P U主频率为2.9GH z,内存为8G B,硬盘为1T B,操作系统为W i n d o w s1 0专业版6 4位,开发环境为P y t h o n2.7,Q T版本为5.9.9,编译环境为V i s u a lS t u d i o2 0 0 5、V i s u a lS t u d i o2 0 1 2。89 第8期程锦,等:三维C A D软件性能自动化测试与变粒度可视评价 h t t p:z k x b.x j t u.e d u.c n 具体地,为避免单个用例测试存在的偶然性,针对四个一级性能指标分别选取3个不同的用例,实体建模用例模型如图5所示,布尔运算用例模型如图6所示,模型加载和保存选取的用例模型相同,如图7所示;分别将执行3个测试用例所需的时间消耗和内存占用量求和,获得8个测试数据,这8个测试数据即为一组行向量雏形;同时,基于相同的用例对各款软件均执行1 0次重复性测试,记录相应的性能测试数据。图5 实体建模用例模型F i g.5 T h r e ec a s e so f e n t i t ym o d e l i n g图6 布尔运算用例模型F i g.6 T h r e ec a s e so fB o o l e a no p e r a t i o n图7 模型加载与保存用例模型F i g.7 T h r e ec a s e so fm o d e l i n gl o a d i n ga n ds a v i n g4.2 三维C A D软件性能测试数据三角变换通过层次分析法(AH P)依据各性能指标的重要性程度确定各指标权重,先对每个一级指标的相对重要性进行两两比较。在使用三维C A D软件时,实体建模能力无疑是用户最关心的,所以实体建模指标比其他3个一级指标更重要;在剩下的3个指标中,模型加载和保存在使用中是操作频率较小的,所以布尔运算相对这两个指标来说更重要;模型加载和模型保存都是“一次点击”的操作,但用户对于保存的耐心程度一般是大于加载的,所以模型加载比模型保存稍微重要一些。依据上述分析所得的相对重要性程度给各一级指标通过1-9标度法进行标度赋值,然后建立重要性判断矩阵,矩阵通过一致性判断后进行归一化处理获得各一级指标的重要性系数,以此作为其权重,各一级指标具体权重如表1所示。各一级指标对应各组二级指标重复上述操作,最终获得的各二级指标具体权重如表2所示。表1 三维C A D软件性能评价一级指标权重T a b l e1 W e i g h to fp r i m a r y i n d e x e so f 3 DC A Ds o f t w a r e一级指标权重值实体建模P10.5 4 9布尔运算P20.2 2 1模型加载P30.1 2 3模型保存P40.1 0 7表2 三维C A D软件性能评价二级指标权重T a b l e2 W e i g h to f s e c o n d a r y i n d e x e so f 3 DC A Ds o f t w a r e一级指标权重值实体建模时间P1 10.8 5 7实体建模内存P1 20.1 4 3布尔运算时间P2 10.7 5 6布尔运算内存P2 20.2 4 4模型加载时间P3 10.8 7 5模型加载内存P3 20.1 2 5模型保存时间P4 10.8 7 5模型保存内存P4 20.1 2 5将表2所列三维C A D软件一级性能指标权重与对应的各二级指标权重相乘后进行比较排序,得到各二级性 能指标重要 性关系序列 由 大 到 小为:实 体 建 模 时 间P1 1(0.4 7 0)、布 尔 运 算 时 间P2 1(0.1 6 7)、模型加载时间P3 1(0.1 0 8)、模型保存时间P4 1(0.0 9 4)、实体建模内存P1 2(0.0 7 9)、布尔运算内存P2 2(0.0 5 4)、模型加载内存P3 2(0.0 1 5)、模99西 安 交 通 大 学 学 报第5 7卷 h t t p:z k x b.x j t u.e d u.c n 型保存内存P4 2(0.0 1 3)。由此直接列出对应的调和曲线三角变换公式为fi(t)=Xi,P1 12+Xi,P2 1s i n(t)+Xi,P3 1c o s(t)+Xi,P4 1s i n(2t)+Xi,P1 2c o s(2t)+Xi,P2 2s i n(3t)+Xi,P3 2c o s(3t)+Xi,P4 2s i n(4t)(1 2)式中P1 1、P2 1、P3 1、P4 1、P1 2、P2 2、P3 2、P4 2分 别 对 应性能测试数据矩阵的第18列。通过自动化测试获得的三维C A D软件各类操作所需时间和内存性能二级指标原始数据含义及数量级存在显著差异,考虑其均为望小型指标,通过如下公式进行预处理Xi,j=pm a xi,j-pi,jpm a xi,j-pm i ni,j(1 3)式中:pm a xi,j、pm i ni,j分别为原始性能测试数据中的最大值、最小值;pi,j为第i个软件的第j个二级性能指标的原始测试数据值。3款软件测试所得最大消耗时间为23 0 0m s,最小消耗时间为1 5 0m s,最大占用内存为3 20 0 0K B,最小占用内存为4 0 0K B。经预处理后,3款三维C A D软件A、B、C的各1 0组测试数据的归一化值如表3表5所示。表3 A软件1 0组性能测试响应数据归一化得分T a b l e3 N o r m a l i z e dv a l u eo f 1 0g r o u p so fp e r f o r m a n c e t e s td a t ao fA测试组号软件各指标归一化值P1 1P2 1P3 1P4 1P1 2P2 2P3 2P4 2A 10.7 1 40.9 8 30.9 0 30.7 8 60.9 8 10.9 0 00.9 3 80.9 9 8A 20.6 6 30.9 6 80.9 2 70.8 1 30.9 9 80.9 7 00.9 3 60.9 9 6A 30.7 4 30.9 6 10.9 1 20.8 0 40.9 9 80.9 6 10.9 4 80.9 9 6A 40.6 5 60.9 7 00.8 9 50.7 8 20.9 9 40.9 4 30.9 4 70.9 9 6A 50.6 8 40.9 7 00.8 9 30.7 7 60.9 8 20.9 5 50.9 4 20.9 9 7A 60.6 7 00.9 8 60.8 9 80.7 8 70.9 8 90.9 4 50.9 4 80.9 9 6A 70.6 2 00.9 6 10.8 8 70.7 8 70.9 6 80.9 1 50.9 4 50.9 9 7A 80.6 6 30.9 7 60.9 2 00.7 7 80.9 9 20.9 1 60.9