ПОВЫШЕНИЕ УСТОЙЧИВОСТИ ЛИНЕЙНОЙ РЕГРЕССИИ

  • В.Н. Лутай Южный федеральный университет
  • Н.Ш. Хусаинов Южный федеральный университет
Ключевые слова: Линейная регрессия, нормальные уравнения, корреляционная матрица, штрафы на отдельные коэффициенты уравнения

Аннотация

Рассматривается метод повышения устойчивости линейного регрессионного уравнения,
коэффициенты которого являются решением системы нормальных уравнений. Неустойчи-
вость уравнения определяется наличием линейной зависимости между экспериментальными
данными, в результате чего в уравнении появляются слишком большие коэффициенты разных
знаков. Количественные характеристики зависимости определяются из корреляционной мат-
рицы, которая также может служить матрицей системы уравнений. Для уменьшения коэф-
фициентов корреляции традиционно используется Ridge (гребневая) регрессия, которая предпо-
лагает увеличение диагональных членов матрицы на одно и то же положительное число.
В результате число обусловленности матрицы уменьшается и уравнение регрессии становится
более устойчивым: небольшое изменение входных данных приводит к небольшому изменению
решения. Число, на которое увеличиваются диагональные члены матрицы, называется штра-
фом, накладываемым в гребневой регрессии на все коэффициенты регрессии. В предлагаемом
методе штрафы, причем разные, налагаются только на те коэффициенты, которые соответ-
ствуют данным с высокой корреляцией. Это приводит к повышению устойчивости уравнения
вследствие уменьшения значений коэффициентов, соответствующих коррелированным дан-
ным. Выбор элементов, подлежащих увеличению, основывается на анализе корреляционной
матрицы исходного набора данных с помощью разложения ее на диагональные матрицы мето-
дом квадратных корней. Кроме повышения устойчивости с помощью предлагаемого метода
может быть достигнуто снижение размерности регрессионной модели – уменьшение количе-
ства членов соответствующего уравнения, для чего обычно используются алгоритмы LASSO и
LARS. Эффективность метода проверяется на известном наборе данных, причем выполняется
сравнение не только с Ridge-регрессией, но и с результатами известных алгоритмов уменьше-
ния размерности.

Литература

1. Ohlsson H., Ljung L. Identification of switched linear regression mod-els using sum-of-norms
regularization, Automatica, 2013, Vol. 149 (4), pp. 1045-50.
2. Hahn P.R., Carvalho C.M., Puelz D., He J. Regularization and confounding in linear regression
for treatment effect estimation, Bayesian Analysis, 2018, Vol. 13 (1), pp. 163-82.
3. Cui Q., Xu Y., Zhang Z., Chan V. Max-linear regression models with regu-larization, Journal
of Econometrics, 2021, Vol. 222 (1), pp. 579-600.
4. Yan X. Linear Regression Analysis: Theory and Computing. World Scientific Publishing
Company, 2009.
5. Al'bert A. Regressiya, psevdoinversiya i rekurrentnoe otsenivanie [Regression, pseudo–
inversion and recurrent estimation]: trans. from engl. Moscow: Nauka. Glavnaya redaktsiya
fiziko-matematicheskoy literatury, 1977, 224 p.
6. Seber Dzh. Lineynyy regressionnyy analiz [Linear regression analysis]: trans. from engl., ed.
by M.B. Malyutova. Moscow: Mir.
7. Nosko V.P. Ekonometrika: uchebnik [Econometrics: textbook]. Moscow: ID Delo
RANKHiGS, 2011, 672 p.
8. Uspenskiy A.B., Fedorov V.V. Vychislitel'nye aspekty metoda naimen'shikh kvadratov pri
analize i planirovanii regressionnykh eksperimentov [Computational aspects of the least
squares method in the analysis and planning of regression experiments]. Moscow: Izd-vo
MGU, 1975.
9. Gorid'ko N.P., Nizhegorodtsev R.M. Sovremennyy ekonomicheskiy rost: teoriya i
regressionnyy analiz: monografiya [Modern economic growth: theory and regression analysis:
monograph]. Moscow: Infra-M, 2017, 444 p.
10. Esaulov I.G. Regressionnyy analiz dannykh v pakete Mathcad: ucheb. posobie [Regression
analysis of data in the Mathcad package: tutorial]. Saint Petersburg: Lan' P, 2016, 224 p.
11. Karlberg K. Regressionnyy analiz v Microsoft Excel [Regression analysis in Microsoft Excel].
Moscow: Dialektika, 2019, 400 p.
12. Sokolov G.A. Vvedenie v regressionnyy analiz i planirovanie regressionnykh eksperimentov v
ekonomike: ucheb. posobie [Introduction to regression analysis and planning of regression experiments
in economics: textbook]. Moscow: Infra-M, 2016, 352 p.
13. Faktornyy analiz prestupnosti: korrelyatsionnyy i regressionnyy metody: monografiya [Factor
analysis of crime: correlation and regression methods: monograph], ed. by S.M. Inshakova.
Moscow: Yuniti, 2014, 127 p.
14. Trevor H.,Tibshirani, R,Wainwright,M. Statistical Learning with Sparsity: The Lasso and Generalizations.
Chapman&Hall, 2015.
15. Melkumova L.E., Shatskikh S.Ya. Sravnenie metodov Ridzh-regressii i LASSO v zadachakh
obrabotki dannykh [Comparison of Ridge regression and LASSO methods in data processing
problems], Cb. trudov III mezhdunarodnoy konferentsii i molodezhnoy shkoly [Proceedings of
the III International Conference and Youth School]. Samara National Research University
named after Academician S.P. Korolev, 2017, pp. 1755-62.
16. Efron B., Hastie T., Johnstone J., Tibshirani R. Least Angle Regression, The Annals of Statistics,
2004, Vol. 32, pp. 407-99.
17. Dreyper N., Smit G. Prikladnoy regressionnyy analiz [Applied Regression analysis]. 2nd ed.:
trans. from engl. Moscow: Finansy i statistika, 1986.
18. Louson Ch., Khenson R. Chislennoe reshenie zadach metoda naimen'shikh kvadratov [Numerical
solution of problems of the least squares method]: trans. from engl. Moscow: Nauka. Gl.
red. fiz.-mat. lit., 1986.
19. Voevodin V.V., Kuznetsov Yu.A. Matritsy i vychisleniya [Matrices and calculations]. Moscow:
Nauka. Glavnaya redaktsiya fiziko-matematicheskoy literatury, 1984.
20. Lutay V.N. Povyshenie ustoychivosti treugol'nogo razlozheniya plokho obuslovlennykh matrits
[Increasing the stability of the triangular decomposition of poorly conditioned matrices],
SibZhVM [Siberian Journal of Computational Mathematics], 2019, No. 4, Vol. 22, pp. 465-73.
Опубликован
2023-02-17
Выпуск
Раздел
РАЗДЕЛ II. МОДЕЛИРОВАНИЕ ПРОЦЕССОВ И СИСТЕМ