-
疾病的诊断是有创的(如:病理活检)或需要高昂的成本(如:部分基因检测)。
-
疾病的诊断具有较长的时间成本(如:细菌培养)。
-
疾病病程的预测。
-
治疗方式有效性的预测(如:肿瘤新辅助治疗反应)。
-
变量总结:总结当下用于构建某个领域机器学习的变量。
-
准确性评价:评价模型当下对于阳性结局(风险)识别的准确性。
-
模型间的差异评估:评价模型检测性能间的差异。
-
总结应用现状:评价当下机器学习的应用现状,总结局限,提出改进意见。
-
明确研究对象、结局事件(结局事件的定义不能存在过大的差异)、机器学习模型类型、建模变量(临床特征、医学图像等)。
-
制定合理的纳入排除标准。
-
偏倚控制:主动检索灰色文献(如会议摘要、临床试验注册库)。
文献检索
-
文献来源:检索常见的文献数据库PubMed、EMBASE、Cochrane、web of science、IEEE,部分情况下需要检索摘要数据库、学位论文数据库。
-
检索词的确定:结合PubMed、EMBASE、Cochrane制定Mesh词和自由词,同时需要注意下位词。此外,再尝试从其他的综述中进行补充。
文献筛选
先去重,阅读标题或摘要,再下载全文,最后阅读全文进行筛选。需要注意的是,筛选过程原则上需要双人独立筛选,争议通过第三方仲裁解决(也可以两人协商处理)。并且,越来越多的审稿人提出可以用Kappa指数量化两位作者筛查的一致性,但是,实际上其适用性仍然存在争议。
数据提取
-
核心字段:文章基本信息(作者、发表年限、研究设计、患者来源)、人群来源、任务类型(预测、诊断、二分类、多分类)、目标事件的诊断标准、病例数(目标事件的病例数、总病例数)、训练集、验证集病例数、验证集产生方式、建模变量、结局指标(AUC、诊断2*2表格)。
-
工具:推荐使用标准化表格或软件(一般Excel)。
-
人员配置:原则上需要双人独立提取,争议通过第三方仲裁解决(也可以两人协商处理)。
质量评价
-
工具选择:QUADAS-2(Quality Assessment of Diagnostic Accuracy Studies 2)是一个被广泛认可的工具,专门用于评估诊断准确性研究的质量。PROBAST(Prediction model Risk Of Bias Assessment Tool) 是一种用于评估预测模型研究质量的工具。它旨在识别预测模型开发和验证过程中可能出现的偏倚风险和适用性问题。
-
重点关注:原则上需要双人独立进行质量评价,争议通过第三方仲裁解决(也可以两人协商处理)。
统计分析
-
效应量计算:第一、汇总AUC、灵敏度、特异度;第二、汇总灵敏度、特异度、阳性似然比、阴性似然比、诊断比值比、综合受试者工作特征曲线(SROC)。
-
异质性处理:I²>50%时采用随机效应模型(或直接采用双变量混合效应模型),亚组分析按模型类型、建模变量、验证集产生方式进行亚组分析。
-
发表偏倚分析:漏斗图分析、Egger/Brgg检验。当直接采用双变量混合效应模型时,可以采用Deeks漏斗图分析发表偏倚。
高异质性
-
根源:建模变量的多样化、模型类型的多样化、变量筛选方法的多样化、数据的过度清洗、模型参数调整过程的多样化,等。
-
对策:考虑进行详细的亚组分析。
高难度的数据提取过程
-
根源:机器学习的研究中,部分研究者对数据的报告不透明,并且指标不统一。
-
对策:明确各种指标间的关系,从而进行推算。
过拟合风险
-
根源:目前的研究中,主要以单中心研究为主,部分研究缺少验证集。
-
对策:按验证集的产生方式进行亚组分析。
-
优势:总结当下机器学习在某一领域的应用现状,为该领域辅助的智能诊断/预测工具的开发。
-
风险:过高的异质性、内部验证为主为结果解读带来严重限制。





评论列表