Метод найменших квадратів
Метод
найменших квадратів
У процесі
вивчення різних питань природознавства, економіки і техніки, соціології,
педагогіки доводиться на основі великої кількості дослідних даних виявляти
суттєві фактори, які впливають на досліджуваний об’єкт, а також встановлювати
форму зв’язку між різними зв’язаними одна з одною величинами (ознаками).
Нехай у
результаті досліджень дістали таку таблицю деякої функціональної залежності:
Таблиця 1
x
|
x1
|
x2
|
…
|
xn
|
y
|
y1
|
y2
|
…
|
yn
|
Треба знайти
аналітичний вигляд функції ,
яка добре відображала б цю таблицю дослідних даних. Функцію можна шукати у вигляді інтерполяційного
поліному. Але інтерполяційні поліноми не завжди добре відображають характер
поведінки таблично заданої функції. До того ж значення дістають у результаті експерименту, а вони, як
правило, сумнівні. У цьому разі задача інтерполювання табличної функції втрачає
сенс. Тому шукають таку функцію , значення якої при досить близькі до табличних значень . Формулу називають емпіричною, або рівнянням
регресії на . Емпіричні формули мають велике
практичне значення, вдало підібрана емпірична формула дає змогу не тільки
апроксимувати сукупність експериментальних даних, «згладжуючи» значення
величини , а й
екстраполювати знайдену залежність на інші проміжки значень .
Процес побудови
емпіричних формул складається з двох етапів: встановлення загального виду цієї
формули і визначення найкращих її параметрів.
Щоб встановити
вигляд емпіричної формули, на площині будують точки з координатами . Деякі з цих точок сполучають плавною кривою, яку
проводять так, щоб вона проходила якомога ближче до всіх даних точок. Після
цього візуально визначають, графік якої з відомих нам функцій найкраще
підходить до побудованої кривої. Звичайно, намагаються підібрати найпростіші
функції: лінійну, квадратичну, дробово-раціональну, степеневу, показникову,
логарифмічну.
Встановивши
вигляд емпіричної формули, треба знайти її параметри (коефіцієнти). Найточніші
значення коефіцієнтів емпіричної формули визначають методом найменших
квадратів. Цей метод запропонували відомі математики К. Гаусс і А.
Лежандр.
Розглянемо суть
методу найменших квадратів.
Нехай емпірична
формула має вигляд
, (1)
де , , …, - невідомі коефіцієнти. Треба знайти такі значення
коефіцієнтів , за яких
крива (1) якомога ближче проходитиме до всіх точок , ,
…, , знайдених
експериментально. Зрозуміло, що жодна з експериментальних точок не задовольняє
точно рівняння (1). Відхилення від підстановки координат у рівняння (1) дорівнюватимуть величинам .
За методом
найменших квадратів найкращі значення коефіцієнтів ті, для яких сума квадратів відхилень
(2)
дослідних даних від обчислених за емпіричною
формулою (1) найменша. Звідси випливає, що величина (2), яка є функцією від
коефіцієнтів , повинна мати
мінімум. Необхідна умов мінімуму функції багатьох змінних ─ її частинні
похідні мають дорівнювати нулю, тобто
, , …, .
Диференціюючи
вираз (2) по невідомих параметрах , матимемо відносно них систему рівнянь:
Система (3)
називається нормальною. Якщо вона має розв’язок, то він єдиний, і буде
шуканим.
Якщо емпірична
функція (1) лінійна відносно параметрів , то нормальна система (3) буде системою з лінійних рівнянь відносно
шуканих параметрів.
Будуючи емпіричні
формули, припускатимемо, що експериментальні дані додатні.
Якщо серед
значень і є від’ємні, то завжди можна знайти такі
додатні числа і , що і .
Тому
розв’язування поставленої задачі завжди можна звести до побудови емпіричної
формули для додатних значень .
Побудова
лінійної емпіричної формули. Нехай між даними існує лінійна залежність. Шукатимемо емпіричну
формулу у вигляді
, (4)
де коефіцієнти і невідомі.
Знайдемо значення
і , за яких функція матиме мінімальне значення. Щоб знайти ці значення,
прирівняємо до нуля частинні похідні функції
Звідси,
врахувавши, що , маємо
(5)
Розв’язавши
відносно і останню систему, знайдемо
, (6)
. (7)
Зазначимо, що,
крім графічного, є ще й аналітичний критерій виявлення лінійної залежності між
значеннями і .
Покладемо , , .
Якщо , то залежність між і лінійна, бо точки лежатимуть на одній прямій. Якщо , то між і існує
майже лінійна залежність, оскільки точки лежатимуть близько до деякої прямої.
Побудова
квадратичної емпіричної залежності. Нехай функціональна залежність між та - квадратична. Шукатимемо емпіричну формулу у
вигляді
. (8)
Тоді формулу (2)
запишемо наступним чином
Для знаходження
коефіцієнтів , , , за яких функція мінімальна, обчислимо частинні похідні , , і
прирівняємо їх до нуля. В результаті дістанемо систему рівнянь
Після
рівносильних перетворень маємо систему
(9)
Розв’язок цієї
системи і визначає єдину параболу, яка краще від усіх інших парабол (8) подає
на розглядуваному проміжку задану таблично функціональну залежність.
Сформулюємо
аналітичний критерій для квадратичної залежності. Для цього введемо поділені
різниці першого і другого порядку
і , де .
Точки розміщені на параболі (8) тоді і
тільки тоді, коли всі поділені різниці другого порядку зберігають сталі
значення.
Якщо точки рівновіддалені, тобто , то для існування квадратичної
залежності (8) необхідно і достатньо, щоб була сталою скінчена різниця другого
порядку , причому .
Побудова
емпіричних формул найпростіших нелінійних залежностей. Нехай у системі координат маємо нелінійну залежність , неперервну і монотонну на
відрізку .
Введемо змінні , так, щоб у новій системі координат задана емпірична нелінійна залежність
стала лінійною
. (10)
Тоді точки з
координатами в площині лежатимуть на прямій лінії.
Покажемо, як від
нелінійних залежностей
, 2) , 3) ,
, 5) , 6)
перейти до
лінійних.
1) Розглянемо
степеневу залежність , де , , .
Логарифмуючи її,
знаходимо . Звідси,
поклавши , , , ,
маємо .
2) Логарифмуючи
показникову залежність ,
маємо . Поклавши , , ,
в системі координат дістанемо залежність (10).
Зазначимо, що
замість показникової залежності часто шукають залежність . Остання перетвориться в лінійну, якщо позначити , , ,
.
3) Щоб перейти від
логарифмічної залежності до
лінійної , досить зробити
підстановку , .
4) У
гіперболічній залежності замінимо змінні , .
Тоді гіперболічна залежність перетвориться в лінійну (10), в якій , .
5) Розглянемо
дробово-лінійну функцію .
Знайдемо обернену функцію .
Тоді ввівши нові координати ,
, дістанемо лінійну
залежність (10), де , .
6) Нехай маємо
дробово-раціональну залежність . Оберненою до неї буде залежність . Ввівши нові змінні , , дістанемо лінійну залежність (10) з коефіцієнтами , .
Отже, для
побудови будь-якої з емпіричних формул 1)-6) треба:
а) за вихідною
таблицею даних побудувати
нову таблицю , використавши
відповідні формули переходу до нових координат;
б) за новою
таблицею даних знайти методом найменших квадратів коефіцієнти і лінійної функції (10);
в) за
відповідними формулами знайти коефіцієнти і даної
нелінійної залежності.
Вибрати емпіричну
формулу для нелінійних залежностей графічним методом часто буває важко. Тоді
вдаються до перевірки аналітичних критеріїв існування певної залежності. Для цього
зводять її до лінійної і перевіряють виконання критерію лінійної залежності між
перетвореними вихідними даними . Але є й власні аналітичні критерії наявності
кожної з розглянутих вище нелінійних залежностей. Найпростіші необхідні умови
їх наявності подано в табл. 2.
Таблиця 2
№ пор.
|
Емпірична формула
|
|
|
Спосіб вирівнювання
|
1
|
|
|
|
|
2
|
|
|
|
, де , , ,
|
3
|
|
|
|
, де , ,
|
4
|
|
|
|
, де
|
5
|
|
|
|
, де
|
6
|
|
|
|
, де
|
7
|
|
|
|
, де ,
|
Умови перевіряють
у такий спосіб. На заданому відрізку зміни
незалежної змінної вибирають
дві точки, досить надійні і розміщені якомога далі одна від одної. Нехай,
наприклад, це будуть точки ,
. Потім, залежно від типу
емпіричної формули, що перевіряється, обчислюють значення , яке є або середнім арифметичним, або
середнім геометричним, або середнім гармонічним значень , . Маючи значення і аналогічно
обчислюють і відповідне значення . Далі, користуючись даною таблицею значень , для значення знаходять відповідне йому значення . Якщо немає в таблиці, то знаходять наближено з побудованого графіка даної
залежності або за допомогою лінійної інтерполяції , де і ─
проміжні значення, між якими лежить . Обчисливши , знаходять величину . Якщо ця величина велика, то відповідна емпірична
формула не придатна для апроксимації заданих табличних даних. З кількох
придатних емпіричних формул перевагу надають тій, для якої відхилення якомога менше.