Статью подготовили специалисты образовательного сервиса Zaochnik.

Метод наименьших квадратов

Содержание:

Начнем статью сразу с примера. У нас есть некие экспериментальные данные о значениях двух переменных – x и y. Занесем их в таблицу.

  i=1 i=2 i=3 i=4 i=5
xi 0 1 2 4 5
yi 2,1 2,4 2,6 2,8 3,0

После выравнивания получим функцию следующего вида: g(x)=x+13+1.

Мы можем аппроксимировать эти данные с помощью линейной зависимости y=ax+b, вычислив соответствующие параметры. Для этого нам нужно будет применить так называемый метод наименьших квадратов. Также потребуется сделать чертеж, чтобы проверить, какая линия будет лучше выравнивать экспериментальные данные.

В чем именно заключается МНК (метод наименьших квадратов)

Главное, что нам нужно сделать, – это найти такие коэффициенты линейной зависимости, при которых значение функции двух переменных F(a, b)=i=1n(yi-(axi+b))2 будет наименьшим. Иначе говоря, при определенных значениях a и b сумма квадратов отклонений представленных данных от получившейся прямой будет иметь минимальное значение. В этом и состоит смысл метода наименьших квадратов. Все, что нам надо сделать для решения примера – это найти экстремум функции двух переменных.

Как вывести формулы для вычисления коэффициентов

Для того чтобы вывести формулы для вычисления коэффициентов, нужно составить и решить систему уравнений с двумя переменными. Для этого мы вычисляем частные производные выражения F(a, b)=i=1n(yi-(axi+b))2 по a и b и приравниваем их к 0.

δF(a, b)δa=0δF(a, b)δb=0-2i=1n(yi-(axi+b))xi=0-2i=1n(yi-(axi+b))=0ai=1nxi2+bi=1nxi=i=1nxiyiai=1nxi+i=1nb=i=1nyiai=1nxi2+bi=1nxi=i=1nxiyiai=1nxi+nb=i=1nyi

Для решения системы уравнений можно использовать любые методы, например, подстановку или метод Крамера. В результате у нас должны получиться формулы, с помощью которых вычисляются коэффициенты по методу наименьших квадратов.

ni=1nxiyi-i=1nxii=1nyini=1n-i=1nxi2b=i=1nyi-ai=1nxin

Мы вычислили значения переменных, при который функция
F(a, b)=i=1n(yi-(axi+b))2 примет минимальное значение. В третьем пункте мы докажем, почему оно является именно таким.

Это и есть применение метода наименьших квадратов на практике. Его формула, которая применяется для поиска параметра a, включает в себя i=1nxi, i=1nyi, i=1nxiyi, i=1nxi2, а также параметр
n – им обозначено количество экспериментальных данных. Советуем вам вычислять каждую сумму отдельно. Значение коэффициента b вычисляется сразу после a.

Обратимся вновь к исходному примеру.

Пример 1

Здесь у нас n равен пяти. Чтобы было удобнее вычислять нужные суммы, входящие в формулы коэффициентов, заполним таблицу.

  i=1 i=2 i=3 i=4 i=5 i=15
xi 0 1 2 4 5 12
yi 2,1 2,4 2,6 2,8 3 12,9
xiyi 0 2,4 5,2 11,2 15 33,8
xi2 0 1 4 16 25 46

Решение

Четвертая строка включает в себя данные, полученные при умножении значений из второй строки на значения третьей для каждого отдельного i. Пятая строка содержит данные из второй, возведенные в квадрат. В последнем столбце приводятся суммы значений отдельных строчек.

Воспользуемся методом наименьших квадратов, чтобы вычислить нужные нам коэффициенты a и b. Для этого подставим нужные значения из последнего столбца и подсчитаем суммы:

ni=1nxiyi-i=1nxii=1nyini=1n-i=1nxi2b=i=1nyi-ai=1nxina=5·33,8-12·12,95·46-122b=12,9-a·125a0,165b2,184

У нас получилось, что нужная аппроксимирующая прямая будет выглядеть как y=0,165x+2,184. Теперь нам надо определить, какая линия будет лучше аппроксимировать данные – g(x)=x+13+1 или 0,165x+2,184. Произведем оценку с помощью метода наименьших квадратов.

Чтобы вычислить погрешность, нам надо найти суммы квадратов отклонений данных от прямых σ1=i=1n(yi-(axi+bi))2 и σ2=i=1n(yi-g(xi))2, минимальное значение будет соответствовать более подходящей линии.

σ1=i=1n(yi-(axi+bi))2==i=15(yi-(0,165xi+2,184))20,019σ2=i=1n(yi-g(xi))2==i=15(yi-(xi+13+1))20,096

Ответ: поскольку σ1<σ2, то прямой, наилучшим образом аппроксимирующей исходные данные, будет
y=0,165x+2,184.

Опиши задание

Как изобразить МНК на графике функций

Метод наименьших квадратов наглядно показан на графической иллюстрации. С помощью красной линии отмечена прямая g(x)=x+13+1, синей – y=0,165x+2,184. Исходные данные обозначены розовыми точками.

Как изобразить МНК на графике функций

Поясним, для чего именно нужны приближения подобного вида.

Они могут быть использованы в задачах, требующих сглаживания данных, а также в тех, где данные надо интерполировать или экстраполировать. Например, в задаче, разобранной выше, можно было бы найти значение наблюдаемой величины y при x=3 или при x=6. Таким примерам мы посвятили отдельную статью.

Доказательство метода МНК

Чтобы функция приняла минимальное значение при вычисленных a и b, нужно, чтобы в данной точке матрица квадратичной формы дифференциала функции вида F(a, b)=i=1n(yi-(axi+b))2 была положительно определенной. Покажем, как это должно выглядеть.

Пример 2

У нас есть дифференциал второго порядка следующего вида:

d2F(a; b)=δ2F(a; b)δa2d2a+2δ2F(a; b)δaδbdadb+δ2F(a; b)δb2d2b

Решение

δ2F(a; b)δa2=δδF(a; b)δaδa==δ-2i=1n(yi-(axi+b))xiδa=2i=1n(xi)2δ2F(a; b)δaδb=δδF(a; b)δaδb==δ-2i=1n(yi-(axi+b))xiδb=2i=1nxiδ2F(a; b)δb2=δδF(a; b)δbδb=δ-2i=1n(yi-(axi+b))δb=2i=1n(1)=2n

Иначе говоря, можно записать так: d2F(a; b)=2i=1n(xi)2d2a+2·2xii=1ndadb+(2n)d2b.

Мы получили матрицу квадратичной формы вида M=2i=1n(xi)22i=1nxi2i=1nxi2n.

В этом случае значения отдельных элементов не будут меняться в зависимости от a и b. Является ли эта матрица положительно определенной? Чтобы ответить на этот вопрос, проверим, являются ли ее угловые миноры положительными.

Вычисляем угловой минор первого порядка: 2i=1n(xi)2>0. Поскольку точки xi не совпадают, то неравенство является строгим. Будем иметь это в виду при дальнейших расчетах.

Вычисляем угловой минор второго порядка:

det(M)=2i=1n(xi)22i=1nxi2i=1nxi2n=4ni=1n(xi)2-i=1nxi2

После этого переходим к доказательству неравенства ni=1n(xi)2-i=1nxi2>0 с помощью математической индукции.

  1. Проверим, будет ли данное неравенство справедливым при произвольном n. Возьмем 2 и подсчитаем:

2i=12(xi)2-i=12xi2=2x12+x22-x1+x22==x12-2x1x2+x22=x1+x22>0

У нас получилось верное равенство (если значения x1 и x2 не будут совпадать).

  1. Сделаем предположение, что данное неравенство будет верным для n, т.е. ni=1n(xi)2-i=1nxi2>0 – справедливо.
  2. Теперь докажем справедливость при n+1, т.е. что (n+1)i=1n+1(xi)2-i=1n+1xi2>0, если верно ni=1n(xi)2-i=1nxi2>0.

Вычисляем:

(n+1)i=1n+1(xi)2-i=1n+1xi2==(n+1)i=1n(xi)2+xn+12-i=1nxi+xn+12==ni=1n(xi)2+n·xn+12+i=1n(xi)2+xn+12--i=1nxi2+2xn+1i=1nxi+xn+12==i=1n(xi)2-i=1nxi2+n·xn+12-xn+1i=1nxi+i=1n(xi)2==i=1n(xi)2-i=1nxi2+xn+12-2xn+1x1+x12++xn+12-2xn+1x2+x22+...+xn+12-2xn+1x1+xn2==ni=1n(xi)2-i=1nxi2++(xn+1-x1)2+(xn+1-x2)2+...+(xn-1-xn)2>0

Выражение, заключенное в фигурные скобки, будет больше 0 (исходя из того, что мы предполагали в пункте 2), и остальные слагаемые будут больше 0, поскольку все они являются квадратами чисел. Мы доказали неравенство.

Ответ: найденные a и b будут соответствовать наименьшему значению функции F(a, b)=i=1n(yi-(axi+b))2, значит, они являются искомыми параметрами метода наименьших квадратов (МНК).

Если вы заметили ошибку в тексте, пожалуйста, выделите её и нажмите Ctrl+Enter

Навигация по статьям

Не получается написать работу самому?

Доверь это кандидату наук!