预测模型性能提高关键—7种预测模型变量筛选方法

在利用公共数据库（如NHANES、CHARLS、UK Biobank等）构建疾病预测模型时，变量筛选往往是决定模型性能的关键一步。一个好的预测模型，不仅要有高的预测能力，还需要有良好的可解释性、临床可行性和稳定性。

那么，面对成千上万的潜在变量，我们该如何科学、高效地进行筛选呢？

今天，我们系统梳理七种主流的变量筛选方法，并结合实际案例说明其应用场景，帮助你在医学科研中构建更可靠的预测模型。

变量筛选的两大目标

▶ 提高预测性能

去除冗余变量，避免过拟合
提升模型泛化能力

▶ 增强可解释性

识别关键预测因子
便于临床转化与应用

七种主流变量筛选方法

方法1：单因素与多因素逻辑回归

思路：先单因素筛选（P＜0.05），再纳入多因素模型

优点：简单易懂，结果便于临床解释

缺点：无法处理多重共线性，可能遗漏交互作用

适用场景：变量数量较少，初步筛选阶段

方法2：LASSO回归（L1正则化）

思路：通过压缩系数，将不重要变量的系数缩至0

优点：自动变量选择，处理高维数据能力强

缺点：选择结果依赖λ值，需交叉验证确定

适用场景：高维数据，变量数>样本数的情况

方法3：Boruta算法

思路：基于随机森林，通过创建“影子变量”判断变量重要性

优点：评估变量重要性稳定，不易过拟合

缺点：计算耗时，对类别不平衡数据敏感

适用场景：非线性关系较强的数据，需稳健筛选

方法4：遗传算法（Genetic Algorithm）

思路：模拟自然选择，通过迭代寻找最优变量子集

优点：全局搜索能力强，适合复杂优化问题

缺点：计算资源需求大，参数调优复杂

适用场景：变量组合优化，多目标筛选

方法5：递归特征消除（RFE）

思路：递归地移除最不重要的变量，直到最优子集

优点：系统性强，考虑变量组合效应

缺点：计算成本高，可能选择冗余变量

适用场景：变量数量中等，追求最优子集

方法6：LASSO+Boruta组合法

思路：先用LASSO初步降维，再用Boruta精细筛选

优点：结合两种方法优势，提高筛选稳定性

缺点：步骤较多，需注意过拟合风险

适用场景：高维数据筛选，要求高稳定性

方法7：随机森林 + LASSO组合法

思路：先用随机森林评估重要性，再用LASSO建模

优点：结合非线性识别与线性建模优势

缺点：可能增加模型复杂度

适用场景：存在非线性关系，但仍需线性解释性

方法比较与选择建议

选择策略：

初步探索：单因素筛选+LASSO

稳健建模：Boruta或RFE

高维数据：LASSO→随机森林/Boruta

临床转化：优先考虑可解释性强的线性方法（LASSO+LR）

经典案例

1. 单变量逻辑回归和多元逻辑回归

采用单变量逻辑回归与多元逻辑回归进行变量筛选，先对每个候选变量分别做单变量Logistic回归，得到未调整的OR，95%CI与P值，用于初步识别与结局相关的因素，然后将单因素分析中提示相关性较强的变量以及临床上必须调整的关键混杂因素一并纳入多元Logistic回归，输出调整后的OR，95%CI与P值，最终保留在多因素模型中仍具有独立统计学意义且解释合理的变量进入最终预测模型。

2. LASSO正则化

该篇文章就利用了LASSO回归针对变量进行特征筛选：

LASSO建模：基于结局类型选择相应的惩罚回归框架，在一系列λ（惩罚系数）网格下拟合模型，使部分回归系数被压缩至0，从而实现变量筛选。λ的选择：采用10折交叉验证评估不同λ下的模型误差，并选择最优λ（λ_min对应最小误差，或λ_1se在误差可接受范围内更稀疏, 更简洁）。图中虚线所示即为最优λ。

3. 树模型的重要性筛选（Boruta）

该篇文章则采用了Boruta算法进行变量的筛选：

Boruta算法属于随机森林评估重要性：在多次迭代中训练随机森林，计算每个真实变量与影子变量的重要性分布（如Z-score或mean decrease accuracy等重要性度量）。

统计判定：将真实变量的重要性与 shadowMax（影子变量中的最大重要性）比较，显著高于shadowMax的变量标记为Confirmed，显著低于的标记为Rejected，介于两者之间为Tentative。图中不同颜色箱线图对应这一最终决策。

得到最终特征集：对Tentative变量可采用rough fix等策略进一步裁决，最终保留Confirmed变量进入后续建模与验证，并在训练集内完成交叉验证或重采样评估以减少过拟合风险。

4. 遗传算法（Genetic algorithm）

该文在变量筛选阶段采用遗传算法（GA）进行全局搜索式变量筛选。我们可以把它理解为“用进化思路自动挑变量”，具体做法是先把每个候选变量用0/1编码成一套“方案”（1代表纳入，0代表剔除），随机生成多套方案作为初始种群，然后对每套方案训练模型并用交叉验证指标给出“适应度”评分，得分高的方案更容易被保留并通过“交叉”组合出新的变量集，同时加入少量“变异”随机改变部分变量的取舍以跳出局部最优，经过多轮迭代后筛出性能最优且更稳定的一组变量用于后续建模，并通常在嵌套交叉验证框架中完成筛选与评估以降低过拟合和选择偏倚。

5. 递归特征消除（RFE）

该文在变量筛选阶段采用递归特征消除（Recursive Feature Elimination, RFE）方法，可以把它理解为“反复建模, 每次删掉最不重要的一批变量，直到找到表现最好的变量数量”。具体做法是先选定一个基础模型作为评估器（如逻辑回归, SVM, 随机森林或梯度提升树），用该模型在训练集上计算各变量的重要性或权重，然后剔除重要性最低的变量并重新训练模型，如此循环递归进行，并在每一步通过交叉验证计算模型性能（图中以交叉验证准确率为例），最终选择交叉验证表现达到峰值或最优附近时对应的变量子集作为入模特征，从而在减少冗余与过拟合风险的同时尽量保持预测性能。

6.多种模型的联合使用

① LASSO+Boruta

该文献采用Boruta+LASSO的组合筛选思路，核心目的是兼顾“找全相关变量”和“得到稀疏稳定的最终特征集”，流程可简要概括为：

Boruta初筛, 锁定“相关变量集合”：基于随机森林构造影子变量（shadow features），多次迭代比较真实变量重要性与shadowMax，得到Confirmed, Rejected, Tentative，通常保留Confirmed。

LASSO复筛，压缩到“核心变量集合”：在Boruta保留的变量基础上进行LASSO，采用10折交叉验证选择最优λ（λmin 或 λ1se），提取非零系数对应变量。

最终变量确定：取Boruta-Confirmed与LASSO-非零的交集作为最终特征集以提高稳健性，同时对仅被单一方法筛出的变量进行敏感性分析或备选模型比较。这样组合的优势是，Boruta更偏向“全相关筛选”，LASSO更偏向“稀疏与抗共线”，两者结合能减少遗漏关键变量的风险，同时避免变量过多导致过拟合。

② LASSO+LR

该文则采用了LASSO回归和LR模型进行特征选择。采用LASSO回归模型，基于最小均方误差和一标准误差原则，确定最优λ值。随后筛选系数非零的变量。随后，筛选变量被纳入逐步逻辑比模型。此外，计算了逐步LR模型的OR和95%置信区间，以进一步筛查AKI的重要风险因素，使用赤池信息标准（AIC）作为标准（P<0.05）。

③ RFE（Random Forest）+LASSO

该文采用特征选择采用了随机森林递归特征消除法（RF-RFE）和最小绝对收缩与选择算子（LASSO）算法。RF-RFE基于随机森林进行特征重要性评估，适用于处理具有非线性和复杂关系的数据。相比之下，LASSO基于正则化路径中的稀疏系数性质，在处理高维数据和强相关特征时表现良好。结合RF-RFE和LASSO取交集，可同时兼顾两类方法的优势，即先通过RF-RFE在非线性框架下筛出对预测贡献稳定的关键特征，再利用LASSO在惩罚约束下进一步压缩冗余并缓解共线性影响，最终保留在两种策略下均被一致选中的变量作为核心特征集，用于后续模型构建与验证，从而提高变量选择的稳健性与泛化能力，并降低因单一方法导致的选择偏倚与过拟合风险。

总结

变量筛选没有“唯一最优解”，关键在于根据研究目的、数据特征和临床需求选择合适的方法。

建议在实践中：