方法的一致性评价

方法学比对和评价在工作中经常遇到，但没有系统的思考过，每种数据类型的处理，每种方法的适用性，经过一段时间断断续续的学习，做一个小的笔记，给需要的朋友！

工作中除了仪器、试剂，接触最多的就是数据，如何合理处置这些定性、半定量、定量数据；二分类、无序分类、有序分类数据；正态分布、非正态分布数据，是个有意思的事情。

例如，工作中经常会遇到对于两种方法的一致性评价问题：

（1）  评估两位医师诊断的一致性（例如对于血尿均一性的鉴别，对于CT结果的诊断等）；

（2）  评估两种检测方法的一致性（例如新的检测方法与参考方法或金标准的一致性）；

（3）  评估两种检测系统的一致性（例如两个医院或两个检测平台检测结果的一致性）。

两种方法一致性评价包括定性数据之间的比较，定性数据与定量数据之间的比较，定量数据之间的比较等不同场景。

场景一：二分类数据

二分类数据出现在两种定性实验的结果中，定性结果可以是实验方法本身给与的阳性和阴性结果，也可以是由定量数据转化而来的“阳性”和“阴性”结果数据。对于二分类数据的一致性评价，常见会处理成“四格表”形式，方法常用配对χ²检验和kappa一致性检验。

图1 四格表

（1）  配对χ²检验：只能给出两种方法阳性（或阴性）检出率的差异，不能区分真阳性和假阳性。

（2）Kappa系数：是一种比例，其利用了四格表中的所有数据进行运算，能提供较为全面的评估，其值可以评价一致性的程度。推荐使用！

场景二：多分类数据

临床工作中，多分类数据的情况远远多于二分类数据情况，如根据检查结果给与不同等级或不同类别的临床诊断，尿常规等半定量实验给出的“-、+、++、+++”等结果，因此多分类数据又分为无序分类和有序分类（等级数据），针对不同的情况，选择合适的一致性评价方法：

（1）  Kendall秩相关系数：也成为和谐系数，是一种非参数的等级相关度量，可以用来评价两组无序分类或有序分类资料的一致性。

（2）  加权Kappa系数：有序分类资料研究一致性，主要考虑加权的kappa一致性检验，加权Kappa分为线性加权Kappa（linear weighted kappa）和二次加权Kappa系数（quadratic weighted kappa），二者的选择取决于数据中不同分类间差异的意义。当分类间距相等时，一般用线性加权处理。

场景三：定量数据

定量数据是医学实验室结果报告中最为常见的数据类型，也是临床中信息含量最为丰富的数据类型，因此两组定量数据之间的关系也会存在不同的分布特征。美国临床和实验室标准化协会（CLSI）《用患者样本进行方法比对及偏移评估：批准指南——第三版》（EP9-A3）提出了“恒定SD”、“恒定CV”、“混合变化”等数据特征概念，根据特征可以选择一致性评价的方法。

因此，对于定量数据，应该首选用散点图和偏差图来查看数据关系。偏差图又可以分为差值偏差图和比例偏差图。Bland-Altman分析给出的散点图就是一种差值偏差图。

图2 差值偏差图

在做回归分析前，需要先根据数据分布，确定两种方法差值的分布情况，确定基本假设，再选择回归方法：

（1）恒定 SD：如果各数据点差值变化相对一致，相关系数 R²≥0.95，则采用常规线性回归（OLR）进行回归分析；否则采用其他回归分析方法，如Deming回归分析；

（2）恒定 CV：加权最小二乘法（WLS）可用于此类数据计算， 但其与OLR具有同样的特征，如各数据点变化较大，应采用恒定CV Deming回归方法或Passing-Bablok回归方法分析；

（3）混合变化：Deming和Passing-Bablok方法均可用于混合变化的回归分析，但Deming方法有时不能消除一些高值标本差异变化较大时的影响，Passing-Bablok方法更适合此类变化回归分析；

（4）非线性分布：不适用于回归方法，可采用偏差图分析。

当图形观察到两种方法的相关关系后，感觉符合正态分布的数据，容易直接应用线性回归，不符合正态分布的数据容易将数据降级进行秩回归分析。而两种检测方法的数据都属于“随机数据“，其一致性评价更合适用Deming回归和Passing-Bablok回归，而Passing-Bablok回归更适合”分布不对成，变异系数不恒定，标准差变化大”的数据情况。

上面介绍了两种检测方法一致性评价的方法，有许多细节无法展开，大家可以用文中提到的关键词去搜索，也可以随时咨询，共同学习！另外，两种诊断方法诊断效能还有其他多方面的评价，有机会再聊！