ПОВЫШЕНИЕ УСТОЙЧИВОСТИ ЛИНЕЙНОЙ РЕГРЕССИИ

Аннотация

Рассматривается метод повышения устойчивости линейного регрессионного уравнения,
коэффициенты которого являются решением системы нормальных уравнений. Неустойчи-
вость уравнения определяется наличием линейной зависимости между экспериментальными
данными, в результате чего в уравнении появляются слишком большие коэффициенты разных
знаков. Количественные характеристики зависимости определяются из корреляционной мат-
рицы, которая также может служить матрицей системы уравнений. Для уменьшения коэф-
фициентов корреляции традиционно используется Ridge (гребневая) регрессия, которая предпо-
лагает увеличение диагональных членов матрицы на одно и то же положительное число.
В результате число обусловленности матрицы уменьшается и уравнение регрессии становится
более устойчивым: небольшое изменение входных данных приводит к небольшому изменению
решения. Число, на которое увеличиваются диагональные члены матрицы, называется штра-
фом, накладываемым в гребневой регрессии на все коэффициенты регрессии. В предлагаемом
методе штрафы, причем разные, налагаются только на те коэффициенты, которые соответ-
ствуют данным с высокой корреляцией. Это приводит к повышению устойчивости уравнения
вследствие уменьшения значений коэффициентов, соответствующих коррелированным дан-
ным. Выбор элементов, подлежащих увеличению, основывается на анализе корреляционной
матрицы исходного набора данных с помощью разложения ее на диагональные матрицы мето-
дом квадратных корней. Кроме повышения устойчивости с помощью предлагаемого метода
может быть достигнуто снижение размерности регрессионной модели – уменьшение количе-
ства членов соответствующего уравнения, для чего обычно используются алгоритмы LASSO и
LARS. Эффективность метода проверяется на известном наборе данных, причем выполняется
сравнение не только с Ridge-регрессией, но и с результатами известных алгоритмов уменьше-
ния размерности.