580 likes | 701 Views
第十三章 诊断试验的评价. 循证医学的重要内容 及时取舍或灵活应用新的诊断试验(试剂、药物、方法) 提高业务素质,减少患者不必要的经济开支。. 为什么要学习诊断试验的评价. 第一节 贝叶斯定理 第二节 诊断试验中常用的评价指标 第三节 ROC 曲线. 目 录. 第一节 贝叶斯定理. 贝叶斯定理应用. 第二节 诊断试验中常用的评价指标. 例 13.2 表 13.2 ECG 诊断试验的结果.
E N D
循证医学的重要内容 及时取舍或灵活应用新的诊断试验(试剂、药物、方法) 提高业务素质,减少患者不必要的经济开支。 为什么要学习诊断试验的评价
第一节 贝叶斯定理 第二节 诊断试验中常用的评价指标 第三节 ROC曲线 目 录
第二节 诊断试验中常用的评价指标 例13.2 表13.2 ECG诊断试验的结果 常用指标有(一)正确百分率、(二)灵敏度、(三)特异度、(四)Youden指数、(五)阳性似然比、(六)阴性似然比、(七)阳性预报值、 (八)阴性预报值。
优点:灵敏度与特异度不受患病率的影响,其取值范围均在(0, 1)之间,其值越接近于1,说明其诊断准确性越好。 缺点:当比较两个诊断试验时,单独使用灵敏度或特异度,可能出现矛盾。 解决办法:将两指标结合:Youden指数、阳性似然比、阴性似然比等 灵敏度与特异度的优缺点
医生最关心的问题:1. 试验阳性时患病的概率多大?2. 试验阴性时不患病的概率多大?
ROC【receiver(relative) operating characteristic的缩写,译为“接受者工作特征”】 ROC曲线研究历史 1950’s 雷达信号观测能力评价 1960’s中期 实验心理学、心理物理学 1970’s末与1980’s初 诊断医学 ROC的涵义与起源
ROC曲线评价诊断试验的重要性 诊断试验:泛指血液生化、影像学、免疫学、细胞学、病理学、统计模型等检查。 重要性: 1. 循证医学的重要组成部分 2. 诊断试验评价方法可用于: 临床试验评价 临床检验评价 流行病学筛查试验评价 实验室检验评价 统计学模型评价……
Test variable 灵敏度,特异度,假阴性率,假阳性率
百分率(%) 100 80 60 特异度 40 灵敏度 20 0 50 60 70 80 90 100 Test variable 不同诊断界值时灵敏度与特异度间的平衡(trade off)
真阳性率 即 灵敏度 机率线(chance line)(diagonal reference line) 假阳性率 即 1-特异度 完美与无用的ROC曲线
ROC曲线下面积(Area)与诊断准确度高低 高 0.90-1.00 = excellent (A) 中 0.80-0.90 = good (B) 0.70-0.80 = fair (C) 低 0.60-0.70 = poor (D) 0.50-0.60 = fail (F) 1.0 1.0 T 0.8 T 0.8 P P R R 0.6 0.6 0.4 0.4 0.938 0.2 0.2 A 0.830 = 0.664 A = A = 0.0 0.0 0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.2 0.4 0.6 0.8 1.0 FPR FPR 0.9 诊断准确度较高 (> ) <0.7 诊断准确度较低( )
似然比(LR)在ROC曲线空间的涵义 LR=0.7 LR=2.3 LR=7.5 LR=25.0 白细胞计数诊断白血病
ROC曲线反映了灵敏度与特异度间的平衡 (增加灵敏度将降低特异度;增加特异度将降低灵敏度)。 在ROC曲线空间,如果曲线沿着左边线,然后沿着上边线越紧密,则试验准确度越高。 在ROC曲线空间,如果曲线沿着机会线(45度对角线)越紧密,则试验准确度越低。 在诊断界值(cutpoint)处的正切线的斜率就是该试验值对应的阳性似然比(likelihood ratio,LR)。在ROC曲线空间的左下角LR+最大,随着曲线从左下往右上方移动,LR+逐渐减小。 ROC曲线下面积是重要的试验准确度指标。 基本概念小结
一、ROC曲线工作点的计算与曲线绘制 主要任务: • 计算ROC曲线工作点(Coordinate point或Operating point)(FPR, TPR) • 连接相邻两点
连续型数据的ROC曲线工作点(TPR,FPR)计算 将这9个数据从大到小排列,以前8个数,分别作为诊断界值,大于等于诊断界值者判为阳性,小于该值者判为阴性。这样,可整理成8个四格表 表13-3 假想的连续型数据
有序分类数据的ROC曲线工作点(TPR,FPR)计算 将诊断分类数据按大到小排序,以前4个分类作为诊断界值,大于等于诊断界值者为阳性,小于该值者为阴性。这样,可整理出4个四格表,每个四格表对应的ROC曲线的工作点见下表。 1 0 0 1 1
二、ROC曲线下面积的计算 • ROC曲线下面积 (Area) • 部分ROC曲线下的面积 • FPR为某值对应的TPR值
(一)Hanley 和 McNeil非参数法 ROC曲线下面积(Az)就是异常组观察值大于正常组观察值的概率 Mann-Whitney U 统计量
Hanley 和 McNeil法ROC曲线下面积与Mann-Whitney U检验 • 由秩和检验中的Mann-Whitney U统计量(SPSS等软件均可计算)可计算ROC曲线下面积 • 零假设H0:总体ROC面积θ=0.5的检验等价于Mann-Whitney U检验 SPSS输出的ROC面积检验P值即为上述Z值对应的概率
Hanley 和 McNeil法ROC曲线下面积与梯形规则(trapezoidal rule) • Hanley 和 McNeil法ROC曲线下面积等于所有曲线下梯形(包括最左侧的三角形)面积之和
1. 双正态法 2. 有序回归模型 3. 其他模型(如双Gama法、双指数法) (二)其他ROC曲线下面积计算方法
单个连续型资料(实例1) 单个有序分类资料(实例2) 两个相关连续型资料(实例3) 两个相关有序分类资料(实例4) 二、ROC分析的数据类型 Test variables
实例1:采用骨髓诊断作为金标准,对100例缺铁性贫血疑似患者进行确诊,患该病者为异常组(34例),未患该病者为正常组(66例)。为了考察红细胞平均容积(MCV)诊断缺铁性贫血的效果,测得每一个体的MCV值如下:实例1:采用骨髓诊断作为金标准,对100例缺铁性贫血疑似患者进行确诊,患该病者为异常组(34例),未患该病者为正常组(66例)。为了考察红细胞平均容积(MCV)诊断缺铁性贫血的效果,测得每一个体的MCV值如下: Test Variable State Variable
实例1:MCV诊断缺铁性贫血 0.3 异 常 0.2 组 频 0.1 率 0 55 60 65 70 75 80 85 90 95 100 105 组段上限值 0.1 0.2 0.3 图4 连续性资料的两组频率分布
实例1的SPSS输入格式 Test Variable=MCV结果 State Variable =骨髓诊断 0=正常组1=异常组 Value of State Variable:1
SPSS的GraphsROC Curve界面 如果试验测量值越小患病的可能性越大时应改变默认的Options…
1.0 T 0.8 P R 0.6 0.4 双正态 机率线 0.2 工作点 0.0 0.0 0.2 0.4 0.6 0.8 1.0 FPR MCV诊断缺铁性贫血的ROC曲线
实例2:某放射医生将已知实际分类的影像,按肯定正常、可能正常、疑似异常、可能异常、肯定异常,分别分为1、2、3、4、5五类。实例2:某放射医生将已知实际分类的影像,按肯定正常、可能正常、疑似异常、可能异常、肯定异常,分别分为1、2、3、4、5五类。 Test Variable State Variable Frequency Variable