5.5. Методы построения математических функций
Методы, рассмотренные для правил и деревьев решений, работают наиболее естественно с категориальными переменными. Их можно адаптировать для работы с числовыми переменными, однако существуют методы, которые наиболее естественно работают с ними. При построении математической функции классификации или регрессии основная задача сводится к выбору наилучшей функции из всего множества вариантов. Дело в том, что может существовать множество функций, одинаково классифицирующих одну и ту же обучающую выборку. Данная проблема проиллюстрирована на рис. 5.5.
| Классификация и регрессия | 125 |
Каждая из трех линий успешно разделяет все точки на два класса (представленные на рисунке квадратами и кружками), однако модель должна быть представлена одной функцией, которая наилучшим образом решит задачу для новых объектов. В результате задачу построения функции классификации и регрессии в простейшей форме можно формально описать как задачу выбора функции с минимальной степенью ошибки:
| 1 | m | ||
| min R ( f ) = min | ∑ c ( y i , f ( x i ) ) , | (5.1) | |
| f F | f F | m i=1 | |
где F — множество всех возможных функций; c ( y i , f ( x i ) ) — функция потерь (loss function), в которой f ( x i ) — значение зависимой переменной, найденное с помощью функции f для вектора x i T , а y i — ее точное (известное) значение. Следует отметить, что функция потерь принимает неотрицательные значения. Это означает, что невозможно получить «вознаграждение» за очень хорошее предсказание. Если выбранная функция потерь все же принимает отрицательные значения, то это легко исправить, введя положительный сдвиг (возможно, зависимый от x). Такими же простыми средствами можно добиться нулевых потерь при абсолютно точном предсказании f (x) = y . Преимущества подобного ограничения функции потерь заключаются в том, что всегда известен минимум и известно, что он достижим (по крайней мере, для данной пары x, y ). Для задач классификации и регрессии такие функции имеют разный вид. Так, в случае бинарной классификации (принадлежности объекта к одному из двух классов; первый класс далее обозначается через +1, а второй класс — через –1) простейшая функция потерь (называемая «0-1 loss» в англоязычной литературе) принимает значение 1 в случае неправильного предсказания и 0 в противном случае: c ( x, y, f (x) ) = 0, y = f (x); 1, y ≠ f (x). Здесь не учитывается ни тип ошибки ( f (x) = 1 , y = − 1 — положительная ошибка, f (x) = − 1, y = 1 — отрицательная ошибка), ни ее величина. Небольшое изменение позволяет учесть характер ошибки: 0, y = f (x); c ( x, y, f ( x) ) = c′ ( x, y, f ( x) ) , y ≠ f ( x).
126 Глава 5 Здесь c ′ ( x, y, f (x) ) может учитывать многие параметры классифицируемого объекта и характер ошибки. Ситуация усложняется в случае классификации с количеством классов более двух. Каждый тип ошибки классификации в общем случае вносит свой тип потерь таким образом, что получается матрица размера k × k (где k — число классов). При оценке величин, принимающих вещественные значения, целесообразно использовать разность f (x) − y для оценки качества классификации. Эта разность в случае регрессии имеет вполне определенный смысл (например, размер финансовых потерь при неправильной оценке стоимости финансового инструмента на рынке ценных бумаг). Учитывая условие независимости от положения, функция потерь будет иметь вид: c ( x, y, f ( x) ) = c ′ ( f (x) − y ) . Чаще всего применяется минимизация квадратов разностей f (x) − y . Этот вариант соответствует наличию аддитивного нормально распределенного шума, влияющего на результаты наблюдений y i . Соответствующим образом минимизируем:
| c ( x, y, f ( x) ) = ( f ( x) − y ) 2 . | (5.2) |
5.5.2. Линейные методы. Метод наименьших квадратов
Различают два вида функций: линейные и нелинейные. В первом случае функции множества F имеют вид:
| d | ||||
| y = ω 0 | + ω 1 x 1 + ω 2 x 2 +…+ ω x d = ω 0 | + ∑ | ω | x j , |
| d | j | |||
| j = 1 |
где ω 0 , ω 1 , . , ω d — коэффициенты при независимых переменных. Задача заключается в отыскании таких коэффициентов ω , чтобы удовлетворить условие (5.1). Например, при решении задачи регрессии коэффициенты ω можно вычислить, используя квадратичную функцию потерь (5.2) и множество линейных функций F :
| n | f i (x), ω i | |
| F := f | f ( x) = ∑ ω i | , |
| i = 1 |
где f i : X → .
| Классификация и регрессия | 127 |
Необходимо найти решение следующей задачи:
| 1 | m | d | 2 | |||||||||
| min R( f ) = min | ∑ | y | − ∑ ω | f | (x ) . | |||||||
| j | j | |||||||||||
| d | m i=1 | i | i | |||||||||
| f F | f | j=1 | ||||||||||
| Вычисляя производную R( f ) | по ω и вводя обозначение Y ij : = f j (x i ) , полу- | |||||||||||
чаем, что минимум достижим при условии: Y T y = Y T Y ω . Решением этого выражения будет: ω = (Y T Y ) −1 Y T y. Откуда и получаются искомые коэффициенты ω . Рассмотренный пример иллюстрирует поиск оптимальной функции f методом наименьших квадратов.
5.5.3. Нелинейные методы
Нелинейные модели лучше классифицируют объекты, однако их построение более сложно. Задача также сводится к минимизации выражения (5.1). При этом множество F содержит нелинейные функции. В простейшем случае построение таких функций все-таки сводится к построению линейных моделей. Для этого исходное пространство объектов преобразуется к новому: ˆ : ′. O X → X В новом пространстве строится линейная функция, которая в исходном пространстве является нелинейной. Для использования построенной функции выполняется обратное преобразование в исходное пространство (рис. 5.6).
| Ф | Ф l |
Рис. 5.6. Графическая интерпретация прямого и обратного преобразований из линейного пространства в нелинейное
Источник
2. Метод построения дерева решений
Еще один вариант использования ситуационного анализа для прогнозирования возможных действий имеет более общее применение и основан на оценках риска.
Принятие решений экономического характера может осуществляться в одной из следующих четырех ситуаций: в условиях определенности, риска неопределенности и конфликта. Первая ситуация имеет место в том случае, если можно с приемлемой точностью предсказать однозначно трактуемые последствия принятого решения. В условиях риска поле возможных исходов, т.е. последствий принятого решения, вариабельно, однако значения исходов и вероятности их появления поддаются количественной оценке. В условиях неопределенности подобной оценки сделать уже нельзя, т.е. не могут быть перечислены все возможные исходы и/или заданы их вероятности. В условиях конфликта принятие решения осложняется не только и не столько возможностью проявления действия некоторых случайных факторов, сколько необходимостью учета безусловного, осознанного и активного противодействия участников «конфликтной» ситуации 1 , причем число этих участников, их информационные и другие ресурсы и возможности могут быть заранее не известны.
Первая ситуация достаточно редка, а ее описание и алгоритмизация не представляют сложности (например, решение принимается на основе некоторого критерия, исчисленного так называемым «прямым счетом» по исходным данным: таким критерием может быть заданная величина прибыли, расходов, рентабельности и др.
В условиях действия второй ситуации для выбора варианта действий и применяется вероятностный подход, предполагающий прогнозирование возможных исходов и присвоение им вероятностей. При этом пользуются:
а.) известными, типовыми ситуациями (типа — вероятность появления герба при бросании монеты равна 0.5);
б) предыдущими распределениями вероятностей (например, из выборочных обследований или статистики предшествующих периодов известна вероятность появления бракованной детали, относительная величина сомнительного долга и др.):
в) субъективными оценками, сделанными аналитиком самостоятельно либо с привлечением группы экспертов.
3. Линейное программирование
Метод линейного программирования, наиболее распространенный в прикладных экономических исследованиях ввиду его достаточно наглядной интерпретации, позволяет хозяйствующему субъекту дать обоснование наилучшему (по формальным признакам) решению в условиях более или менее жестких ограничений относительно доступных для предприятия ресурсов. С помощью линейного программирования в анализе финансово-хозяйственной деятельности решается ряд задач, в первую очередь относящихся к процессу планирования деятельности — он позволяет отыскивать оптимальные параметры выпуска и способы наилучшего использования имеющихся ресурсов.
Суть метода линейного программирования заключается в поиске максимума или минимума выбранной в соответствии с интересами аналитика целевой функции при имеющихся ограничениях. Примеры использования данного метода и технику расчетов можно найти в монографической и учебной литературе (см. например, [Ковалев, Волкова]).
На практике метод линейного программирования нашел применение в системах управленческого учета и внутреннего анализа, в частности при решении задачи оптимизации производственной программы (выбор программы действий при наличии ограничений на затраты сырья, величину спроса и т.п.) и транспортной задачи (оптимизация доставки продукции при наличии сети поставщиков и получателей в условиях ограничений на ресурсы различного вида).
Источник