ПОВЫШЕНИЕ УСТОЙЧИВОСТИ ЛИНЕЙНОЙ РЕГРЕССИИ
Аннотация
Рассматривается метод повышения устойчивости линейного регрессионного уравнения, коэффициенты которого являются решением системы нормальных уравнений. Неустойчи- вость уравнения определяется наличием линейной зависимости между экспериментальными данными, в результате чего в уравнении появляются слишком большие коэффициенты разных знаков. Количественные характеристики зависимости определяются из корреляционной мат- рицы, которая также может служить матрицей системы уравнений. Для уменьшения коэф- фициентов корреляции традиционно используется Ridge (гребневая) регрессия, которая предпо- лагает увеличение диагональных членов матрицы на одно и то же положительное число. В результате число обусловленности матрицы уменьшается и уравнение регрессии становится более устойчивым: небольшое изменение входных данных приводит к небольшому изменению решения. Число, на которое увеличиваются диагональные члены матрицы, называется штра- фом, накладываемым в гребневой регрессии на все коэффициенты регрессии. В предлагаемом методе штрафы, причем разные, налагаются только на те коэффициенты, которые соответ- ствуют данным с высокой корреляцией. Это приводит к повышению устойчивости уравнения вследствие уменьшения значений коэффициентов, соответствующих коррелированным дан- ным. Выбор элементов, подлежащих увеличению, основывается на анализе корреляционной матрицы исходного набора данных с помощью разложения ее на диагональные матрицы мето- дом квадратных корней. Кроме повышения устойчивости с помощью предлагаемого метода может быть достигнуто снижение размерности регрессионной модели – уменьшение количе- ства членов соответствующего уравнения, для чего обычно используются алгоритмы LASSO и LARS. Эффективность метода проверяется на известном наборе данных, причем выполняется сравнение не только с Ridge-регрессией, но и с результатами известных алгоритмов уменьше- ния размерности.
