若有多指标(多变数)样本X, 欲求算其中某一个体x_i与某一标准值e之间的符合度(接近度、吻合度、恢复度) r。设X为具有p个指标(变数)和n个观察值(个体)的矩阵, 标准值e是具有p个指标的向量。

这里1为n× 1全是1的列向量, X的各行与e的各行为对应指标。x_j=X_(j)为X矩阵的第j列, 可视为该多变数样本的第j个个体。欲求样本中的个体x与e的接近程度r(x, e), 应尽量排除p个指标(变数)的量纲和变异度的影响, 同时也应考虑变数间相关性对符合度的作用, 寻找计算x与e的合适距离, 并由距离转化为符合度关系, 对这一过程需进行模拟和抽样试验。

假设一个标准值为e’ =(e₁, e₂, …, e_P)。若X是一组正态或均匀分布的随机数, 可理解为随机向量x与e之间的相似性亦即符合度近乎为0。若x与e完全一样, 则它们之间的符合度即为1; 而x与e有一定程度的关联, 其符合度应是介于0和1之间的某个数值。当有50%的关联时, 符合度应为0.5左右。关联程度越小, 符合度越趋近于0, 关联程度越大, 符合度越趋于1。根据这一思路, 构建基于随机数x与e的中间变数y。

y= (1-λ )x+λ e (1)

其中λ 即为取值0到1间的符合度值。取公差为0.01的等差数列, 产生随机变数x并由式(1)得到相应的中间变数y。即当λ 为0.1时, x与y存在0.1的相似性, 当λ 为0.5时, x与y存在0.5的符合度, 以此类推, 从而通过中间变数y进而研究合适的距离和符合度的关系。

本研究中符合度的计算是由y和e之间的距离转化而来, 所以距离函数的选择对符合度函数的确定比较重要。常用的距离有欧氏距离、马氏距离、切氏距离和闵氏距离等。其中欧氏距离应用最为广泛, 但是它有明显的缺点, 主要是受量纲与变异度的影响过大, 即变异度大的指标(变数)在距离计算中所占的分量比变异度小的指标(变数)大。若变数的变异度与距离计算的重要性不成比例, 则这样的距离就不能很好地反映它们的客观真实性。当对原数据进行标准化后, 则各指标对距离计算的分量完全相同, 这在很多时候也并不恰当, 因为在很多综合评价过程中, 并非所有指标对评价主体的重要性完全一致, 所得距离有时(或多数情况下)不能满足实际要求。欧氏距离的另一个缺陷是未能考虑多个变数间相关性对距离计算的作用, 而相关程度越大, 欧氏距离与客观真实距离的偏差越大。最初我们也曾试验以欧式距离计算符合度的过程, 但在重抽样过程中(2.3节)出现明显偏差, 因而被否定。

马氏距离不受量纲和变异度的影响, 两点之间的马氏距离与原始数据的测量单位无关; 由标准化数据和中心化数据(即原始数据与均值之差)算出的两点间的马氏距离相同。更重要的是马氏距离还考虑了变数间相关性的作用, 所算距离更能体现个体间的远近关系。马氏(平方)距离公式如下:

(2)

其中, x_i和x_j分别为第i和j个个体的p个变数(指标)所组成的向量, S为样本方差协方差矩阵。

(3)

其中, I和J分别为n阶单位阵和全1阵。该S为p阶方阵, 对角线元素为各变数的方差, 非对角线元素为对应变数的协方差。它们包含了X变数在p维空间散布的信息, 因此又称为信息阵。而在本研究中, y与e之间的马氏平方距离(下文简记为马氏距离)如下:

(4)

在不同相似度(符合度)条件下随机抽样得到x并计算y与e之间的马氏距离, 距离随符合度有明显的负向趋势但波动较大。随着抽样次数的增加, 平均距离随符合度的变化趋势明显, 波动变小。试验表明, 30次抽样的平均距离与符合度的关系趋于稳定。可用于拟合反映两者关系的方程式。

在大量随机的试验中发现, 试验数据X的量纲、变异度对计算马氏距离没有影响, 但指标数量(p)对马氏距离的尺度有较大影响。因而除了上述符合度与距离的抽样试验外, 我们还进行了指标数在距离计算过程中影响的抽样试验。考虑到大部分样本评价问题在5~25个指标之间, 模拟试验的指标数在3~30之间, 本研究的指标数为3、5、10、15、20、25和30共7个水平, 了解指标数在距离和符合度之间关系的作用。从而根据抽样结果确定符合度依指标数和马氏距离的函数关系。

符合度依指标数和马氏距离的函数关系能否成立, 还应在一定条件下重新抽样, 再根据函数关系式计算符合度数值, 大量抽样获取符合度的次数分布, 用于检验上述计算距离及符合度的过程是否符合实际。在指定符合度条件下随机抽取5000个样本, 代入函数关系方程算得符合度次数分布图。如果方程合适, 那么在给定符合度r的情况下, 将指标数、距离代入模型中计算所得r应该与设定结果一致, 从而证实符合度计算过程可行性。

选取2011年扬州大学农学院大田正季播种的扬麦系统小麦品种11个, 测定其面粉淀粉糊化特性, 参数有峰值黏度、糊化时间、低谷黏度、最终黏度和糊化温度(剔除2个次级性状回复值和崩解值, 消除方差协方差阵的奇异性, 马氏距离得以计算), 每品种3个重复。比较扬麦系统的11个品种之间的相似程度并利用其符合度进行聚类分析。

在许多模拟试验中, 要评价模拟结果的优劣, 直观比较不能客观反映真实情况。对一个多变数复杂效应回归分析模拟试验中效应的回归估值与期望值之间的接近程度以量化的形式表示出来, 可用于客观准确的评价模拟试验。

根据设定的随机变量、中间变量和符合度的关系, 采用随机抽样的方式计算符合度与马氏距离的关系, 单次抽样(每一符合度条件下只抽一个随机向量)所得距离与符合度有明显的负向趋势但波动较大。随着抽样次数的增加, 波动变小。在符合度很低时, 距离较大, 随着符合度的增加, 距离变小, 当两者非常接近时, 距离趋于0。距离随符合度的增加而单调降低, 其散点图成线性排列, 但并非简单的直线, 在符合度的高端, 曲率明显。模拟试验中发现, x和/或e的数值乘以一定的倍数, 这种关系并无改变, 即符合度与马氏距离的关系不随量纲与变异度变化而改变, 适合各种类型多变数样本的评价。

表1

Table 1

表1(Table 1)

表1 模型拟合统计数及测验 Table 1 Simulated conformity function and its statistics 参数序号 No. bi statistics ti t-value 参数序号 No. bi statistics ti t-value 1 -7.2593 -9.14 6 10.0670 12.88 2 0.0455 3.23 7 0.0922 12.09 3 -0.00189 -11.24 8 97.2280 12.27 4 -1.6640 -4.11 9 -3.6622 -51.33 5 0.3606 5.23 10 3.2996 53.95 RSS=0.1186, MSE=0.00016, R2=0.9982, significant when |t|> 2.

表1 模型拟合统计数及测验 Table 1 Simulated conformity function and its statistics

显然, 马氏距离可很好地描述个体与标准值之间的符合程度。但由于马氏距离会大于1或远大于1。而我们更希望得到的符合度数值介于0~1之间, 0代表没有相似性, 1代表完全符合。随着距离的增大, 符合度越来越小, 误差亦有所增加(图1, 前述散点图X、Y轴互换)。在实际使用中, 我们不能事先得到符合度, 必须先计算样本(平均数)与目标值之间的距离, 再确定符合度与距离的数量关系。

图1

Fig. 1

	Figure Option ViewDownloadNew Window
	图1 符合度依马氏距离关系图Fig. 1 Relationship between Mahalanobis distance and similarity

由于指标数也在很大程度上影响距离与符合度的关系, 利用曲面拟合方式, 寻找指标数p, 马氏距离d与符合度r的函数关系式, 根据数据点在三维空间中的分布情况和各类变数方程的特点, 经大量模型选择和比较分析, 确定如下模型:

(5)

本研究选择C-E算法进行曲线、曲面拟合^{[21, 22]}, 该算法无需提供导数与偏导数, 无需提供特定初值, 实现最优拟合的能力较强。拟合结果如图2, 各参数值及显著性t测验值见表2。

图2

Fig. 2

	Figure Option ViewDownloadNew Window
	图2 模型拟合曲面图Fig. 2 Surface fitting for conformity with variables and distance

随机抽取5000个样本X(p=20), 按y=(1-λ )x+λ e计算马氏距离d以及由d和p通过式(5)计算获得5000个符合度r, 绘成次数分布图。若符合度计算方程合适, 那么在给定符合度(λ )情况下, 将指标数值、检测值代入模型中计算所得r应该与设定结果一致, 且在中等程度符合度时, 其符合度的抽样分布接近于平均数为0.5的正态分布。如表2和图3所示, 当设定λ =0.5时, 其r分布平均数为0.502, 标准差为0.0849, 分布接近正态, 准确度高, 误差小。除了很小符合度(λ =0.05)时略有偏差外, r的分布与设定情况充分符合, 证明该方法的可行性。

表2

Table 2

表2(Table 2)

表2 Monte Carlo抽样试验符合度分布的平均值(r)、方差(s2)和标准差(s) Table 2 Means (s), variance (s2), and standard deviation (s) of conformity distribution in Monte Carlo experiment 设定Defined r s2 s 0.05 0.0806 0.00579 0.0761 0.25 0.2483 0.00773 0.0879 0.45 0.0450 0.00873 0.0934 0.50 0.0502 0.00721 0.0849 0.55 0.5514 0.00733 0.0856 0.75 0.7714 0.00521 0.0722 0.95 0.9268 0.00050 0.0224

表2 Monte Carlo抽样试验符合度分布的平均值(r)、方差(s2)和标准差(s) Table 2 Means (s), variance (s2), and standard deviation (s) of conformity distribution in Monte Carlo experiment

由图4和图5可见, 各符合度分布均以设定值为中心, 但随着设定符合度偏离0.5, 它们的分布呈现左偏或右偏。符合度较高, 甚至接近于1时, 分布相对集中, 误差较小; 在符合度接近于0时, 由于抽样数据的随机性, 符合度形成明显的偏态分布, 说明对于评价对象与目标之间符合度较低的情形, 符合度的估计具有一定的偏差。

图3

Fig. 3

	Figure Option ViewDownloadNew Window
	图3 与标准e的符合度为0.5的检验图Fig. 3 Histogram of conformity under similarity of 0.5 e

图4

Fig. 4

	Figure Option ViewDownloadNew Window
	图4 与标准e的符合度为0.45 (左)、0.55 (右)的次数分布图Fig. 4 Histogram of conformity under similarity conditions 0.45 (left) and 0.55 (right)

图5

Fig. 5

	Figure Option ViewDownloadNew Window
	图5 与标准e的符合度的次数分布图Fig. 5 Distribution of conformity with under similarity conditions 0.05 (left) and 0.95 (right)

检验证明, 按一定符合度给出的随机数据计算所得的符合度的分布结果与期望的结果相吻合, 该符合度关系式能够准确地反映实际符合度关系。

最合理的计算马氏距离的方差协方差阵应为误差方差协方差阵S_e, 但误差偏小, 只能用总方差协方差阵S。首先利用全部的原始数据计算出该样本的方差协方差阵, 用于计算马氏距离d。

将选取的扬麦系统11个品种的RVA值分别代入马氏距离计算公式, 得到品种之间的马氏距离d(表3), 由式(5)计算符合度, 得出RVA值之间的相似程度(表4)。

表3

Table 3

表3(Table 3)

表3 扬麦系统(YM)各品种RVA值之间的马氏距离d Table 3 Distance between the varieties based on their RVA characters 品种 Variety YM5 YM6 YM9 YM10 YM11 YM13 YM14 YM15 YM16 YM17 YM6 7.42 YM9 7.08 11.54 YM10 4.03 1.81 8.48 YM11 5.26 5.57 4.34 4.36 YM13 4.97 7.08 11.95 4.72 15.99 YM14 1.97 2.09 7.02 0.93 3.02 5.13 YM15 2.22 8.67 4.25 2.59 2.02 9.21 3.00 YM16 0.58 4.53 9.11 0.75 5.52 3.21 2.26 3.62 YM17 6.58 21.84 6.11 8.63 11.64 13.15 12.17 4.23 8.96 YM158 9.10 13.88 1.89 8.58 8.17 8.05 9.11 6.34 10.26 6.00

表3 扬麦系统(YM)各品种RVA值之间的马氏距离d Table 3 Distance between the varieties based on their RVA characters

以RVA特征值计算扬麦系统11个材料间的相似性可以较好地反映这些材料间的RVA特征之差异。如扬麦5与扬麦16的RVA特征值最为接近, 扬麦10号与扬麦14的RVA特征值也很接近, 其相对接近的还有扬麦9号与扬麦158。以符合度作为相似度值系统聚类(图6)。相似系数在0~1之间, 可较好地避免其他类型的相似系数出现负数的情况, 更好地体现个体间的相似性。同时也可避免用距离等不相似系数出现大于或远大于1的数值, 对个体间不相似程度的描述有一定程度的扭曲。

表4

Table 4

表4(Table 4)

表4 扬麦系统(YM)各品种间RVA的相似度(符合度) Table 4 Conformities among RVA parameters of YM varieties 品种Variety YM5 YM6 YM9 YM10 YM11 YM13 YM14 YM15 YM16 YM17 YM6 1.28E-25 YM9 3.10E-22 0.00# YM10 0.00 0.30 7.49E-39 YM11 3.31E-9 8.06E-11 1.88E-5 1.65E-5 YM13 7.77E-8 3.70E-22 0.00 8.12E-7 0.00 YM14 0.25 0.21 1.37E-21 0.56 0.02 1.45E-8 YM15 0.17 1.18E-41 3.78E-5 0.08 0.23 1.93E-50 0.02 YM16 0.67 4.52E-6 7.99E-49 0.62 1.44E-10 0.01 0.16 0.00 YM17 9.25E-18 0.00 3.04E-14 4.84E-41 0.00 0.00 0.00 4.47E-5 2.47E-46 YM158 1.34E-48 0.00 0.27 2.28E-40 1.41E-34 4.19E-33 7.78E-49 7.42E-16 3.84E-71 1.69E-13 #表中数字若小于1E-100以0.00表示。Value less than 1E-100 was labeled as 0.00.

表4 扬麦系统(YM)各品种间RVA的相似度(符合度) Table 4 Conformities among RVA parameters of YM varieties

图7显示一个复杂系统新型回归分析方法, 即重复筛选回归(ISR)模拟。图中前后对角线左侧为设定的效应真值, 右侧对应位置为100次模拟试验回归估计的平均值。方柱位置代表效应项(对角线位置为主效、非对角线位置为互作项)对应的标记项, 方柱的高度为效应值(以方柱顶上的数值表示)。可以看出, 这些效应项的回归估计值非常接近真值。

图6

Fig. 6

	Figure Option ViewDownloadNew Window
	图6 扬麦系统11个小麦品种的RVA值据符合度聚类Fig. 6 Hierarchical clustering dendrogram for the 11 varieties according to conformity

效应项的回归估值与真值的接近程度或称效应的恢复度如何衡量, 客观的判断离不开数量化指标的协助。本试验设定的效应真值e以及100次筛选逐步回归的模型试验的回归估值平均数 见表5, 建立了方差-协方差阵S (未列出)。计算得出d=0.2510, r=0.9089, 该数值较高, 说明重复筛选回归分析的效应估计能够较好地符合设定真值。

图7

Fig. 7

	Figure Option ViewDownloadNew Window
	图7 效应真值与估计值的比较Fig. 7 Comparison between true effects and estimations

表5

Table 5

表5(Table 5)

表5 回归模拟试验的效应值、真值(e)和回归估计平均数() Table 5 Effect estimates and corresponding parameters 序号 No. 效应项 Effect e 序号 No. 效应项 Effect e 1 a 100.0 99.986 10 X320 -5.0 -5.012 2 X20 1.7 1.689 11 X355 4.2 4.203 3 X35 3.0 3.021 12 X35-X280 2.0 1.995 4 X80 -3.8 -3.813 13 X100-X335 -2.5 -2.490 5 X125 3.5 3.514 14 X130-X180 2.7 2.689 6 X160 -3.8 -3.808 15 X110-X195 -3.2 -3.212 7 X205 -3.7 -3.694 16 X220-X305 -3.5 -3.510 8 X250 -4.3 -4.297 17 X145-X265 2.9 2.882 9 X290 4.5 4.503 18 X250-X355 3.8 3.777

表5 回归模拟试验的效应值、真值(e)和回归估计平均数() Table 5 Effect estimates and corresponding parameters

本研究提出的符合度新算法是一种量化样本间或者样本与标准之间接近程度的方法。虽然马氏距离也可较好地描述个体与标准值之间的符合程度, 但由于马氏距离会大于或远大于1, 更合理的符合度数值应介于0~1之间, 0代表没有相似性, 1代表完全符合, 这与符合度的概念更加相称, 量值更加准确。另外, 基于0~1之间符合度数值的聚类分析等多变数分析比用基于距离的分析能更好地体现个体之间的亲疏远近, 因为聚类等多变数分析将较大程度地过度强化大数值的作用而忽略小数值的作用。

比较现有的综合评价方法, 该算法的优势在于无需数据标准化处理, 以原始数据直接计算, 简化了计算, 也降低了因无量纲化处理方式不同而导致的结果差异; 另外, 符合度算法综合考虑各指标的信息, 指标没有重要程度之分, 不需要赋予权重, 保证了原始信息的完整性, 也排除了主观赋权的随意性^{[14, 15]}。

在实际数据的应用中往往会出现某个指标缺失的情况, 缺值计算的主要困难在于此时的方差协方差矩阵S会出现异常或偏差, 本研究提出了如下相对简单的处理缼值数据的方差协方差阵修正公式。

S^* =S+0.0001+diag[nEE’ /(0.5n+c)]+0.0001diag[n/(0.5n+c)]
(6)

式中, n为数据总个数, c是非缺值数据个数。这主要在于降低有缼值指标(变数)在多变数评价中的影响力。

多指标系统的样本观察值(测定值、样本值)与标准值(理论值、期望值)之间的吻合程度总体上比较复杂。我们尝试用其他多种计算符合度、恢复度的方法, 但效果不如本文提出的符合度计算方法, 该算法基本实现了客观合理地描述样本与理论值或个体相互间符合度的数量化计算。当然, 用单个的数值衡量其符合度仍有可能失之偏颇。准确的综合评价有时仍需辅以另外的一个或多个指标。

在本试验中, 随机变数X服从正态(或均匀)分布, 得出指标数(p)和马氏距离(d)计算符合度的函数关系, 也得到了重抽样试验的验证。但当变数间有很强的相关关系时, 符合度与马氏距离等的关系式会有一定程度的偏差。

马氏距离的计算取决于观察样本的方差协方差阵S, 采用何种方差协方差也至关重要。当n个多变数观察个体没有重复观察值时, 总的样本方差协方差阵是唯一的选择, 但这事实上并不合理。当观察个体有重复观察值时, 总的方差协方差阵(S)可分解为组间(B)和组内(W)两部分(S=B+W)。而用于评价个体相似性、符合度计算的合适的马氏距离应选择W, 这代表观察样本去除个体间差异的本质的内在的信息阵, 可更好地描述个体间的相似程度。

聚类分析可根据试验材料的表型, 也可根据基因型进行。两种聚类结果的一致性取决于基因型与表型性状之间的一致性。若注重于品种的整体相似性, 应以能综合反映品种特性的基因型数据的聚类更为合适; 若就某些农艺性状的表现对品种分类, 则依据这些农艺性状聚类更为合适, 因为在大多数情况下, 获得的基因型数据与表型数据并不对应。本研究并未对与小麦面粉RVA性状相关的基因型进行测定, 根据RVA表型计算符合度(相似性)并据此聚类, 这与品种整体特性的相似性和分类特性不一定等价。