Метод наименьших квадратов

10 МЕТОД НАИМЕНЬШИХ КВАДРАТОВ

10.1 Постановка задачи

Рассмотрим один из методов, позволяющих проанализировать и обработать данные, полученные в результате эксперимента (таблица 10.1). Пусть в результате измерений получена таблица зависимости одной величины от другой

Таблица 10.1

...

...

Необходимо найти формулу , выражающую таблично заданную зависимость аналитически. Применение интерполяции в данном случае нецелесообразно, т.к. значения в узлах получены экспериментально и поэтому являются сомнительными (в ходе эксперимента возникает неустранимая погрешность, обусловленная неточностью измерений). Кроме того, совпадение значений в узлах не означает совпадения характеров поведения исходной и интерполирующей функции. Поэтому необходимо найти такой метод подбора эмпирической формулы, который не только позволяет найти саму формулу, но и оценить погрешность подгонки.

Постановка задачи. Найдем функцию заданного вида

(10.1)

которая в точках принимает значения как можно более близкие к табличным значениям .

Практически вид приближающей функции можно определить визуально: по таблице 10.1 строится точечный график функции, а затем проводится кривая, по возможности наилучшим образом отражающая характер расположения точек (рис.10.1).

Рис.10.1

По полученной кривой устанавливается вид приближающей функции (обычно из числа простых по виду аналитических функций: линейная, степенная, экспоненциальная или показательная, логарифмическая, гипербола, дробно-рациональная и т.д.).

Заметим, что формула (10.1), называемая эмпирической формулой или уравнением регрессии на , позволяет находить значения функции для нетабличных значений , «сглаживая» результаты измерений величины .

Из рисунка 10.1 видно, что для каждого значения экспериментальное и расчетное значения различаются на некоторую величину , называемую абсолютной разностью. Потребовав, чтобы сумма квадратов абсолютных разностей для всех точек была минимальной, найдем оптимальные параметры функции : если выполняется условие

(10.2)

где , то считается, что функция подобрана наилучшим образом.

Рассмотрим все изложенное выше на примере линейной регрессии.

10.2 Линейная регрессия

Будем искать приближающую функцию в виде:

Абсолютная разность для определяется следующим образом:

формулу (10.2) перепишем в виде:

Рассматриваемая сумма является функцией с двумя параметрами Задача сводится к отысканию минимума этой функции. Используем необходимое условие экстремума:

т.е.

(10.3)

Решив систему двух уравнений с двумя неизвестными относительно параметров и , получим конкретный вид искомой функции Опуская математические выкладки, запишем выражения для искомых параметров:

(10.4)

Рассчитав значение , получим величину среднеквадратичной ошибки рассматриваемого приближения.

Замечание: найденные значения и определяют точку экстремума . Используя неравенство Коши-Буняковского можно доказать, что в этой точке функция принимает минимальное значение (см. [2]).

Как видно из рассмотренного примера, изменение количества параметров не приведет к искажению сущности самого подхода, изменится лишь количество уравнений в системе (10.3) (для параметров соответственно будет записано уравнений).

10.3 Подбор эмпирических формул

Чтобы подобрать формулу, выражающую зависимость между двумя величинами, если это зависимость найдена опытным путем, строят график этой зависимости. Полученный график сравнивают по внешнему виду с графиками, построенными при помощи известных формул. Формулы содержат небольшое число параметров (коэффициенты, показатели степеней и т.д.), изменением которых можно в той или иной степени менять вид кривой. Чтобы формула не оказалась слишком сложной, число параметров не должно быть велико. Обычно берут два-три параметра. При сравнении обращают внимание на наличие максимумов и минимумов, поведение функции при больших и малых значениях аргумента, выпуклость кривой вверх или вниз на отдельных участках и т.д. Выбрав среди известных графиков подходящий, следует подобрать такие значения параметров в формуле, чтобы разница между опытными значениями величины и значениями, найденными по формуле, не превышала ошибок эксперимента. Если эта разница получается слишком большой, берут другой подходящий график и повторяют попытку.

Ниже приведены наиболее употребимые формулы и соответствующие им графики.

10.3.1 Степенная зависимость (геометрическая регрессия)

Степенная зависимость имеет вид

(10.5)

Во всех случаях при При в точке кривая касается оси абсцисс. В этом случае, чем больше , тем ближе подходит кривая к оси абсцисс при и тем быстрее она возрастает при

При в точке кривая касается оси ординат. При кривая ближе подходит к оси ординат, чем к оси абсцисс, при наоборот.

Рис. 10.2

График степенной зависимости

Покажем, как нахождение приближающей функции в виде геометрической регрессии может быть сведено к нахождению параметров линейной функции. Предполагая, что в исходной таблице 10.1 значения аргумента и функции положительны, прологарифмируем равенство (10.5) при условии

(10.6)

Введем новую переменную тогда будет функцией от . Обозначим тогда равенство (10.6) примет вид:

т.е. задача свелась к отысканию приближающей функции в виде линейной.

Практически для нахождения приближающей функции в виде степенной (при сделанных выше предположениях) необходимо проделать следующие операции:

1) по данной таблице 10.1 составить новую таблицу 10.2, прологарифмировав значения и в исходной таблице;

Таблица 10.1 Таблица 10.2

2) по новой таблице 10.2 найти параметры и приближающей функции вида

3) используя примененные обозначения, найти значения параметров и и подставить их в выражение (10.5).

Окончательно получаем:

(10.7)

10.3.2 Показательная зависимость

Показательная зависимость имеет вид

(10.8)

Во всех случаях при . Если то при кривая растет с увеличением тем быстрее, чем больше При она приближается к оси абсцисс с возрастанием тем быстрее, чем больше абсолютная величина

Если найденная на опыте зависимость от является показательной, то график зависимости от представляет собой прямую линию, тангенс угла наклона которой равен параметру Если значение при неизвестно, то величину параметра можно найти по формуле для ряда значений а затем взять среднее.

Рис. 10.3 График показательной функции

Найдем коэффициенты и для исходной таблицы 10.1, если известно, что приближающую функцию целесообразно искать в виде показательной функции (10.8).

Прологарифмируем равенство (10.8) :

(10.9)

приняв обозначения перепишем (10.9) в виде:

(10.10)

Таким образом приближающая показательная функция нехитрыми преобразованиями сведена к линейной, следовательно, для определения коэффициентов и показательной функции можно воспользоваться выведенной для линейной функции формулой (10.4).

Итак, для нахождения приближающей функции в виде (10.8) нужно прологарифмировать значения функции в исходной таблице 10.1 и, рассматривая их совместно с исходными значениями аргумента, построить для новой таблицы 10.3 приближающую функцию вида (10.10).

Таблица 10.1 Таблица 10.3

Окончательно получаем:

(10.11)

Рис. 10.4

Замечание: формулам

(10.12)

(10.13)

соответствуют кривые, изображенные на рисунках 10.2 и 10.3, сдвинутые вверх или вниз на величину . Например, кривая, изображенная на рисунке 10.4, соответствует формуле при и Чтобы найти параметры этих формул, следует сначала определить значение Иногда величину можно легко найти по значению, к которому стремится при возрастании (при ) или по значению при (для формулы 10.12 при ). Можно также воспользоваться формулой