Линейный дискриминантный анализ: [38]. Метод главных компонент требует для своего применения

Линейный дискриминантный анализ (с примерами)

Линейный дискриминантный анализ:  [38]. Метод главных компонент требует для своего применения

Линейный дискриминантный анализ (ЛДА, англ. Linear Discriminant Analysis, LDA), нормальный дискриминантный анализ (англ. Normal Discriminant Analysis, NDA) или анализ дискриминантных функций (англ.

 Discriminant Function Analysis) является обобщением линейного дискриминанта Фишера, метода, используемого в статистике, распознавании образов и обучении машин для поиска линейной комбинации признаков, которая описывает или разделяет два или более классов или событий.

Построение решающих функций для распознавания двух классов объектов  w1 и w2 по некоторому описанию X = (x1, x2…..xL)

представляет собой непростую задачу. Известный байесовский подход, основанный на вычислении отношения правдоподобия, оптимален, поскольку связан с наилучшим критерием, минимизирующим вероятность ошибочного решения.

Однако на практике его трудно реализовать, так как для проведения вычислений необходимо знать условные плотности вероятностей, процедура оценивания которых довольно сложна.

Более простым оказывается линейный классификатор, который можно построить, используя разные критерии оптимизации параметров решающей функции, в том числе критерий Фишера.

Для двухклассовой задачи линейная дискриминантная функция (ЛДФ), являющаяся разделяющей гиперплоскостью, имеет вид

D(X) = WTX-a = 0 или WTX = a,      (1.10)

где W = (w1, w2, …,wL) — весовой вектор единичной длины; а — скалярная пороговая величина.

Алгоритм распознавания, позволяющий отнести неизвестный объект X к одной из групп, в этом случае имеет следующий вид:

если WTX < а, то w1 (1-й класс),

если WTX ≥ а, то w2 (2-й класс).

На рис. 1 изображены данная ЛДФ и соответствующий ей алгоритм распознавания.

Определение проекций объектов двухклассов на прямую, продолжающую вектор W

Для того чтобы определить составляющие вектора W и порог а, можно воспользоваться критерием минимизации ошибки классификации. Однако для этого потребуется довольно сложная итеративная  процедура поиска параметров решающего правила.

Эту задачу можно решить, применяя другой критерий оптимизации — критерий Фишера. Он позволяет найти такой вектор W, при котором проекции точек классов на выбранное направление разделяются наилучшим образом. Порог а определяется исходя из критерия оптимальности разбиения объектов на два класса.

В этом случае алгоритм поиска неизвестных параметров W и а можно представить следующим образом:

  1. найти W, используя критерий Фишера;
  2. спроецировать точки обоих классов на прямую, определяемую положением W;
  3. решить одномерную задачу по поиску наилучшей величины а, например, по критерию минимума ошибок классификации.

Если допустить, что оба класса распределены по нормальному закону с одинаковыми ковариационными матрицами Σ1 = Σ2 = Σ, то из теории известно, что решение 1-го шага вышеприведенного алгоритма определяется выражением

W = Σ-1(M1 -М2),               (1.11)

где M1 и М2 — векторы средних значений двух классов. В случае Σ1 ≠ Σ2  в качестве Σ можно использовать усредненную ковариационную матрицу в виде

Σ=½(Σ1 + Σ2).               (1.12)

Так как после вычисления W по формуле (1.11) его надо пронормировать для получения вектора единичной длины, т.е. разделить на |W|, то коэффициент ½ в (1.12) можно отбросить. Тогда Σ=Σ1 + Σ2.

Оценки M1, М2 и Σ1, Σ2 определяются выражениями

j =1,2,

где Xi(1) — i-й объект из 1-го класса; Xi(2) — i-й объект из 2-го класса; n1 — число объектов 1-го класса; n2  — число объектов 2-го класса.

Если спроецировать точки объектов каждого класса на направление W, то каждый вектор X превратится в соответствующий скаляр у:

y1(1) = WTX1(1),    y2(1) = WTX2(1) и т. д. (рис.).

Тогда средние значения для выборок спроектированных точек равны

Очевидно, что расстояние между m1 и m2 будет отражать удаленность классов друг от друга после их проецирования на W. Это расстояние, оценивающее межклассовый разброс, задается выражением

(m1 – m2)2 = (WTM1 – WTM2)2 = WT(M1 – М2)(M1 – M2)TW = WTSBW, (1.13)

где SB = (M1 – М2)(M1 – M2)T — матрица разброса между классами. Также можно определить выборочный разброс для двух классов s12 и s22 в виде

Этот показатель, как и дисперсия, является оценкой внутриклассового рассеяния — чем он больше, тем и рассеяние данных больше. По s12 и s22 можно определить «средний» внутриклассовый разброс в виде s12 + s22

Для определения s12 и s22 через статистические параметры выборок классов определим матрицу разброса Sj для j-ro класса (аналог корреляционной матрицы) в виде

и «усредненную» матрицу разброса для двух классов в виде Sw = S1 + S2.

Тогда

s12 + s22 = WTS1W + WTS2W = WT(S1 + S2)W = WTSWW. (1.14)

Теперь можно определить линейный дискриминант Фишера — линейную функцию с максимальным отношением разброса между классами к «среднему» разбросу внутри классов. Тогда ЛДФ Фишера определяется как такой вектор W, для которого критерий

максимален. Для W, найденного по данному критерию, классы, спроецированные на направление W, максимально удалены друг от друга.

С учетом выражений (1.13) и (1.14) вышеприведенный критерий записывается как

Анализ этой формулы показывает, что максимум J(W) достигается при

W = SW-1(M1 – М2), (1.15)

что почти совпадает с выражением (1.11) для нормальных классов с равными ковариационными матрицами.

Преобразование признакового пространства на основе линейного дискриминанта Фишера

Можно улучшить качество классификации в методе линейного дискриминанта Фишера, если для распознавания применять нс один, а большее число признаков, найденных, как ортогональные весовые векторы в пространствах меньшей размерности с помощью критерия Фишера. В работе выведена формула для рекуррентного вычисления дополнительных ортогональных весовых векторов. Для исходного n-мсрного признакового пространства формулу (1.15) можно переписать в виде

Wn = Sn-1(m1n-m2n)              (1.16)

Спроектируем все данные на плоскость перпендикулярную W,,. Тогда на этой плоскости, которая является (п – 1)-мерным признаковым пространством, можно найти наилучший весовой вектор, используя критерий Фишера. Очевидно, что на этой плоскости мы имеем:

Wn-1 = Sn-1-1(m1n-1-m2n-1)  (1.17)

где

m1n-11= m1n – m1nWn = mln – WnTm1nWn,

m2n-11 = m2n – m2nWn = m2n – WnTm2nWn,

m1n-11 – m2n-11 = m1n – m2n – WnT(m1n – m2n)Wn.   (1.18)

При вычислении      обращаемая матрица может оказаться вы

рожденной. В этом случае вместо вычисления явной обратной матрицы можно вычислять пссвдообратную матрицу.

Sn-1 =S1n-1 +S2n-1,                         (1.19)

,

где

Xn-1 – m1n-1 = (Xn – WnTXnWn) – (m1n – WnTm1nWn) = (Xn-m1n) -WnT(Xn-m1n)Wn,

В = WnT(Xn-m1n)Wn * |WnT(Xn-m1n)Wn|T.

Обозначим α = WnT(Xn-m1n). Это скаляр. Отметим, что также α = (Xn-m1n)TWn. Тогда В = αWnαWnT и

. (1.20)

Так как

где N1 — число элементов в множестве w1, то из (1.19) следует    (1.21)

Так как

то

S1n-1=S1n  + WnTS1nWn(WnWnT)

и

Sn-1=S1n-1  + S2n-1 = S1n+ S2n +WnT(S1n+S2n)Wn(WnWnT) =Sn+WnTSnWn(WnWnT)   (1.22)

Окончательно из (1.17) с учетом (1.18) получаем

Wn-1 = Sn-1-1|(m1n– m2n) – WnT(m1n– m2n)Wn|             (1.23)

или подставляя в (1.23) выражение (1.22) получаем

Wn-1 = |SnWnTSnWn(WnWnT)|-1 х |(m1n-1– m2n-1) – WnT(m1n-m2n)Wn|. (1.24)

В (n – 2)-мерном признаковом пространстве получаем, соответственно Wn-2 = |Sn-1 +Sn-1TSn-1Wn-1(Wn-1Wn-1T| -1 x |(m1n-1– m2n-1) -Wn-1T(m1n-1-m2n-1)Wn-1|.

и так далее.

В результате найдено рекуррентное выражение для последовательного вычисления добавочных признаков.

Для примера выберем два множества 3-мерных данных f1 и f2, которые приведены ниже. Столбцы этих матриц — признаки, а строки — отдельные объекты. Известно, что данные множества линейно разделимы в 3-мерном пространстве.

Применим к ним метод главных компонент, линейный дискриминант Фишера и линейный дискриминант Фишера с одним добавочным признаком, полученным по формуле 1.24. Результат вычисления первых двух главных компонент показан на рис. 2.

Из него видно, что метод главных компонент не обеспечивает линейную разделимость классов.

Реализация метода линейного дискриминанта Фишера с одним добавочным признаком на данных множествах показана на рис.3.

Рис. 1. Анализ множеств f1 и f2 по методу главных компонентРис. 2. Анализ множеств f1 и f2 методом линейного дискриминанта Фишера с одним добавочным признаком.

Ось абсцисс — вектор W1, ось ординат — вектор W2

Из рис. 3 видно, что использование только одного весового вектора W1, найденного по критерию Фишера, линейной разделимости достичь не удается. Добавочный же признак (весовой вектор W2) обеспечивает полную линейную разделимость классов f1 и f2. Такой же результат получен при нахождении весового вектора с помощью простого однослойного персептрона.

На рис. 4 изображена область пересечений двух классов ирисов Фишера: виргинского и разноцветного (справа) в сокращенном пространстве, образованном двумя весовыми векторами W1 и W2.

Рис 3. Анализ ирисов Фишера

виргинского — слева и разноцветного справа в редуцированном пространстве методом линейного дискриминанта Фишера с одним добавочным признаком

Рис. 4. Двумерное пространство (x1, x2) с двумя классами объектов w1 и w2

Из рис. 4 видно, что только в двумерном пространстве можно достичь нулевой ошибки классификации виргинских ирисов при минимальной ошибке классификации разноцветных ирисов.

Проведенные эксперименты с другими данными показали, что добавочный признак улучшает разделимость классов, что может оказаться важным для некоторых задач, особенно требующих полной разделимости классов. В предложенном подходе могут использоваться и другие критерии расстояния между классами.

Дискриминантный анализ многоклассовой задачи с использованием критерия Фишера

Сложнее решается задача распознавания сигналов в том случае, когда число классов больше двух (на практике такие задачи возникают довольно часто). Так.

в системах кардиологического наблюдения необходимо надежно обнаруживать опасные аритмии в момент их внезапного возникновения, но не менее важно распознавать нарушения, являющиеся предвестниками тяжелых состояний пациента.

В этой ситуации возникает задача построения решающих функций для многих классов электрокардиосигналов.

При наличии с классов необходимо построить (с – 1) решающую функцию. Решение данной задачи возможно путем сведения ее к набору двухклассовых задач или на основе множественного дискриминантного анализа.

Последний подход основан на применении того же критерия оптимизации J и обобщении определений для матриц разброса между классами и внутри классов.

Критерий J, оценивающий степень разделения заданных классов сигналов, в общем виде задается следом матрицы

J = tr (SW-1 SB),             (1.25)

где SB — матрица рассеяния между классами; SW — обобщенная матрица рассеяния внутри классов. Его также нужно максимизировать.

Для случая двух классов нахождение линейного преобразования Y = WTX, максимизирующего значение J, сводится к определению всего одного собственного значения матрицы (SW-1 SB). Отсюда следует возможность определения W с максимальным отношением разброса между классами к разбросу внутри классов в виде

W = SW-1(M1 – М2),

где SW = 0,5(Σ1 + Σ2).

В случае с классов проекции объектов при переходе из L-мерного пространства признаков в (с – 1)-мерное пространство находятся с помощью тою же матричного преобразования Y = WTX, но W — это уже матрица размера L х (с – I). Нахождение ее связано с представлением в формуле (1.25) матрицы в следующем виде:

где ni и nj — частоты появления объектов, образующих классы w1 и w2.

Матрица SW определяется в том же виде:

где Sj матрица разброса для j-ro класса.

Ранг матрицы SB равен (с – 1), и это значение определяет число собственных значений и собственных векторов, задаваемых матрицей W.

Недостаток применения выражения (1.25) связан с тем, что при увеличении числа классов критерий J ориентирован в основном на большие межгрупповые расстояния и слабо отражает взаимное расположение близко расположенных классов. А это в свою очередь ограничивает возможности применения метода для классификации трудно разделимых групп объектов.

Оптимизировать процедуру построения решающих правил можно путем сведения ее к набору задач попарной классификации с введением весовых коэффициентов ai,j, усиливающих влияние на критерий J близко расположенных классов. В этом случае обобщенное выражение для критерия J принимает вид:

  (1.26)

Весовую функцию ai,j можно связать с ценой ошибки распознавания классов wi и wj. В указанной работе предлагается использовать веса в виде функции ошибок erf [(η – t ) / σ ], где t — граница решающего правила, a η и σ — параметры распределений.

Эта функция вычисляется для заданных групп объектов (i и j) исходя из предположений о нормальном законе распределений и равенстве ковариационных матриц.

В этом случае критерий J может быть приближен к оценке достоверности распознавания объектов, представленных c-классами, путем суммирования вероятностей правильного решения при их попарной классификации.

Нахождение элементов матрицы W сводится к задаче определения собственных значений матрицы

Они могут быть найдены как корни характеристического уравнения |SB – λSW| = 0, а затем получены d = с – 1 собственных векторов W, как решение системы уравнений (SB – λiSW) • Wi = 0. В новом пространстве размерности d значение критерия J определяется в виде

Рис. 5. Представление объектов классов w1, w2, w3 в пространстве векторов W1, W2, полученных с применением весовых функций

Задачу выбора вида ai,j в (1.26) можно решить следующим образом.

Рассмотрим в двумерном пространстве (x1,x2) два класса объектов w1 и w2 с нормальным законом распределения и единичными матрицами ковариации (рис. 5).

Если расстояние между центрами этих классов обозначить как Δi,j =|mi — mj|, где mi и mj  — векторы средних значений, то, проецируя эти классы на новое направление V, получим изменение расстояния между ними в зависимости от угла α между направлением, соединяющим центры классов, и вектором V. Эту зависимость можно представить как Δi,j (V)= Δi,j cos α = Δi,j  sin β, где β — дополнительный угол. При равных априорных вероятностях появления объектов обоих классов вероятность правильного распознавания определится в виде

где erf(•) — функция ошибок.

Тогда для случая с классов с одинаковыми распределениями критерий J(γ), оценивающий среднюю точность распознавания, можно записать в виде

(1.27)

а критерий J, оценивающий степень расхождения классов (1.26), примет вид

(1.28)

Сравнивая (1.27) и (1.23) веса ai,j можно задать в виде

ai,j=γi,j/tr(VTSB(i,j)V)

для случая наилучшего взаимного расположения двух классов (w1, w2). что соответствует совпадению направлений векторов V и mi,j = (mi -mj). При этом α = 0; β =π/2,  tr(VTS1(i,j)V)  = (Δi,j)2, и параметр

ai,j определится следующим образом:

Такой вид задания весовых функций предлагается в работе. В области малых значений Δi,j например, при распознавании объектов по параметрам нормированного спектра или иным нормированным параметрам, веса ai,j можно задать, используя приближение функции ошибок полиномиальной функцией

 (1.29)

где

, Δi,j ≤ √2, xi,j ≤0.5

Этот способ нахождения весовых функций ai,j = a(Δi,j) можно

применить и для многоклассовой задачи, предполагая, что каждый из с классов имеет матрицу внутригруппового рассеяния, равную Sw.

Тогда для каждой пары классов (w1, w2; i, j = 1, … , c; i ≠ j) в исходном L-мерном пространстве признаков необходимо найти евклидово расстояние Δi,j между их центрами и определить веса ai,j используя выражение (1.29). Максимизация критерия J (1.

26) позволяет перейти к процедуре нахождения собственных векторов Wi , i= 1, …., с — 1 и анализу групп объектов в пространстве признаков пониженной размерности.

Применение метода для распознавания опасных аритмий

Эффективность применения рассмотренных процедур оценивалась по результатам экспериментов, выполненных на реальных данных, включающих записи ЭКС длительностью более 20 минут. Все реализации ЭКГ получены из стандартной компьютерной базы ЭКГ-сигналов MIT-BIH.

В качестве примера на рис.

6 приведены результаты отображения объектов на плоскость, заданную координатами (y1, y2) в пространстве собственных векторов W1, W2, которые получены при распознавании следующих трех классов сигналов: w1— опасные аритмии (желудочковая фибрилляция и трепетание желудочков); w2— пароксизмальная тахикардия и фоновый ритм, представленный разными формами экстрасистолии; w3 — пируэтная тахикардия, являющаяся переходной формой опасного нарушения ритма. Оптимизация пространства проведена по критерию J (1.26) с применением весовых функций.

Рис. 6. Классификатор на 2 класса (персептрон)

В качестве исходного описания объектов, представленных фрагментами электрокардиосигнала длительностью 2 с, дискретизированными с частотой 250 Гц, использован упорядоченный набор 28 спектральных признаков.

Они получены для частотной области, ограниченной частотой 15 Гц, с применением перекрывающихся сегментов. Некоррелированные оценки спектральной плотности мощности вычислены при ширине спектрального окна Δ f = 0,976 Гц, но при этом шаг по частотной оси выбран вдвое меньше этой величины и составлял 0,488 Гц.

В этом случае удается сохранить особенности формы спектра анализируемых сигналов при относительной устойчивости получаемых оценок СПМ.

На рисунке выделены области нахождения представленных групп объектов, причем видно, что классы частично пересекаются. Соотношение расстояний между центрами классов в исходном пространстве составило Δ1,2 = 0.42; Δ1,3 = 0,36; Δ2,3 = 0,22, откуда следует, что исходно классы w2 и w3 расположены значительно ближе друг к другу, чем к w1. Вычисление весов по формуле (1.

29), а именно a1,2 = 0,623; a1,3 = 0,707; a2,3 = 1.165, обеспечило преимущественное влияние расстояния Δ2,3 на критерий J.

В результате в пространстве координат (y1, y2) анализируемые группы объектов (w1, w2, w3) расположились относительно друг друга на расстоянии Δ1,2 = 0,36; Δ1,3 = 0,34; Δ2,3 = 0,30, что обеспечило более равномерную картину распределения центров классов.

В ходе экспериментов были построены разделяющие функции, определены границы областей решений и найдены ошибки классификации. Распределение объектов в двумерном пространстве d = 2 было получено для традиционного подхода на основе критерия (1.

25) и с использованием весовых функций (1.26).

Как показал результат линейного дискриминантного анализа, при использовании весовых функций средняя ошибка классификации может быть уменьшена с 8,2% до 4,6%, что является показателем эффективности применения этой процедуры оптимизации.

В результате анализа объектов, попавших в зону пересечения полученных областей решений, установлено, что они являются спорными в плане классификации, поскольку могут быть отнесены к одному из альтернативных классов.

Это касается в основном пересечения областей w1 и w2  с промежуточным классом w3.

Важным является результат безошибочного распознавания классов w1 и w2, что гарантирует надежное обнаружение желудочковой фибрилляции в стадии устойчивого ее проявления.

Рассмотренный метод позволяет в первую очередь сократить размерность пространства признаков с учетом наилучшего разделения имеющихся классов объектов. Такой переход в пространство меньшей размерности упрощает интерпретацию данных и процедуру построения разделяющих функций.

Источник: https://cmi.to/%D0%BC%D0%B5%D1%82%D0%BE%D0%B4%D1%8B/%D0%BB%D0%B8%D0%BD%D0%B5%D0%B9%D0%BD%D1%8B%D0%B9-%D0%B4%D0%B8%D1%81%D0%BA%D1%80%D0%B8%D0%BC%D0%B8%D0%BD%D0%B0%D0%BD%D1%82%D0%BD%D1%8B%D0%B9-%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7/

(PDF) Применение линейного дискриминантного анализа для автоматического определения происхождения изумруда по данным рентгенофлюоресцентного анализа

Линейный дискриминантный анализ:  [38]. Метод главных компонент требует для своего применения

353

ЕЖЕГОДНИК-2012, Тр. ИГГ УрО РАН, вып. 160, 2013, с. 353–355

353353353353353

МЕТОДОЛОГИЯ И МЕТОДЫ ИССЛЕДОВАНИЙ

353353353

ПРИМЕНЕНИЕ ЛИНЕЙНОГО ДИСКРИМИНАНТНОГО АНАЛИЗА ДЛЯ

АВТОМАТИЧЕСКОГО ОПРЕДЕЛЕНИЯ ПРОИСХОЖДЕНИЯ ИЗУМРУДА

ПО ДАННЫМ РЕНТГЕНОФЛЮОРЕСЦЕНТНОГО АНАЛИЗА

© 2013 г. А. В. Поротников, М. П. Попов, Н. П. Горбунова

ВВЕДЕНИЕ

Определение происхождения драгоценных кам-

ней является одной из центральных задач геммо-

логии. Среди способов решения этой задачи выде-

ляют два направления: методы, основанные на из-

учении включений, и методы, основанные на изу-

чении характеристик объекта в целом, в том числе

элементный и разные виды спектрального анали-

за. Среди преимуществ второго направления мож-

но выделить экспрессность при подходящем выбо-

ре аналитической процедуры и отсутствие непрео-

долимых препятствий для алгоритмизации. Рентге-

нофлюоресцентный анализ (РФА) монолитного об-

разца имеет такие преимущества, как отсутствие

пробоподготовки и разрушения образца и возмож-

ность проведения измерений в составе изделия. Од-

нако минусом метода в данном случае является не-

возможность использования какого-либо стандар-

та, кроме внутреннего. Для алгоритмизации опре-

деления происхождения образца необходим поиск

сигнатур (ngerprinting), то есть признаков, вычис-

ляемых математически или алгоритмически и по-

зволяющих принять решение о его происхождении

без участия человека. Данная проблема относится

к взаимопересекающимся областям знания, извест-

ным как искусственный интеллект, машинное обу-

чение, математическая статистика и глубокий ана-

лиз данных. Далее будет использоваться термино-

логия машинного обучения как наиболее адекват-

ная проблеме.

Имеется единственная уникальная работа по

использованию методов машинного обучения для

классификации изумрудов [1]. В ней использова-

лись данные элементного анализа 450 образцов,

полученные электронным микрозондом, которые

затем подавались на вход нейронной сети с одним

скрытым уровнем. В соответствии с принятыми в

сфере машинного обучения методами вначале ней-

ронная сеть обучалась на 2/3 образцов, затем каче-

ство ее обучения проверялось на остальных образ-

цах (кросс-валидация). Выполнялась классифика-

ция не по странам происхождения, а в соответствии

с одной из классификаций месторождений по 5 ка-

тегориям, цитируя [2]. Было получено успешное

разделение изумрудов по типам месторождений с

долей ошибок 3%.

Цель работы – исследование возможностей по-

строения программно-аппаратного комплекса для

определения происхождения изумруда персоналом

без геолого-минералогической квалификации.

Объекты исследования. Исследовались 17 об-

разцов берилла, из них 10 из России (месторож-

дения Мариинское, Свердловское, Каменское, Че-

ремша), 3 из Колумбии (2 – Чивор, 1 – Музо), 2 из

Афганистана, 1 из Бразилии (Баия) и 1 из Китая.

В соответствии с двумя из известных классифика-

ций [3] данные образцы относятся к следующим

типам (табл. 1).

МЕТОДЫ

Измерения проводили в лаборатории физиче-

ских и химических методов исследования Институ-

та геологии и геохимии УрО РАН на рентгенофлу-

оресцентном энергодисперсионном спектрометре

EDX-900HS фирмы SHIMADZU (Япония). Измере-

ния выполняли в двух диапазонах: от Na до Sc, и от

Ti до U; для каждого из них были выбраны опти-

мальные условия измерения спектров. В связи с

произвольными размерами и формой образцов, за-

трудняющими использование стандартов, опреде-

ляли не абсолютные концентрации, а значения от-

носительных интенсивностей линий Al, Mg, Cr, V,

Fe, Ca и K к интенсивности линии Si (табл. 2).

Для дальнейшей обработки был выбран линей-

ный дискриминантный анализ (LDA). LDA явля-

ется одним из самых простых методов машинного

обучения и относится к методам обучения по пре-

цедентам. Алгоритм LDA конструирует линейные

комбинации исходных параметров объектов (дис-

криминантные функции) так, что значения этих

функций максимально удалены друг от друга для

объектов разных классов:

Таблица 1. Типы исследованных образцов в соответ-

ствии с различными классификациями

Происхождение

Классификация

Dereppe [1] Schwarz, Giuliani [2]

Россия 1 1a

Колумбия 4 2b

Афганистан 3 2a

Бразилия (Баия) 1 1a

Китай ? ?

Источник: https://www.researchgate.net/publication/255486095_Primenenie_linejnogo_diskriminantnogo_analiza_dla_avtomaticeskogo_opredelenia_proishozdenia_izumruda_po_dannym_rentgenofluorescentnogo_analiza

Исследование метода главных компонент и линейного дискриминантного анализа на изменение ракурса и условий освещенности лица как объект распознавания

Линейный дискриминантный анализ:  [38]. Метод главных компонент требует для своего применения

Всем добрый день. Я являюсь аспирантом. Тема моей диссертации «Разработка методов идентификации по изображению для предоставления индивидуального доступа в реальном масштабе времени».
В моем первом посту я написал, не с самого начала. Вот начинаю с самого начала.

Распознавание человека по изображению лица выделяется среди биометрических систем тем что во-первых, не требуется специальное или дорогостоящее оборудование, во-вторых, не нужен физический контакт с устройствами. Однако распознавание человека по изображению лица не обеспечивает 100%-ой надёжности идентификации.

Особенность состоит в том, чтобы распознать человека по изображению лица независимо от изменения ракурса и условий освещённости при съёмке. Такие задачи не имеют точного аналитического решения.

При этом требуется выделение ключевых признаков, характеризующих зрительный образ, определение относительной важности признаков путём выбора их весовых коэффициентов и учёт взаимосвязей между признаками. Изначально эти задачи выполнялись человеком-экспертом, что занимало много времени и не гарантировало качества.

В новых методах выделение ключевых признаков осуществляется путём автоматического анализа обучающей выборки, но тем не менее большинство информации о признаках задаётся вручную. Для автоматического применения таких анализаторов выборка должна быть достаточно большой и охватывать все возможные ситуации.

Нейросетевые методы предлагают иной подход к решению задачи распознавания образов. Веса в нейронной сети не вычисляются путём решения аналитических уравнений, а подстраиваются различными методами при обучении. Обучаются нейронные сети на наборе обучающих примеров. Обученная НС может успешно применяться для распознования человека при различных условиях. Т.О. применение нейронных сетей для задачи распознавания человека по изображению лица, является перспективным направлением.

Методы идентификации человека по изображению лица

При всём многообразии различных алгоритмов и методов распознавания изображений, типичный метод распознавания состоит из трёх компонент (рис. 1): 1.​ преобразование исходного изображения в начальное представление (может включать в себя как предобработку, так и математические преобразования, например вычисление главных компонент); 2.​ выделение ключевых характеристик (например, берётся первые n главных компонент или коэффициентов дискретного косинусного преобразования); 3.​ механизм классификации (моделирования): кластерная модель, метрика, нейронная сеть и т.п. Рис.1. Схема взаимосвязи структурных элементов типичного метода распознавания изображений Сложившиеся подходы к идентификации персон по изображениям челове​ческих лиц практически устоялись. Необходимо совершенствование сущест​вующих алгоритмов с целью оптимизации обеспечиваемых ими временных и точностных характеристик поиска за счет использования ключевых признаков, извлекаемых автоматически из изображения персоны (например, пол, наличие бороды, очков, ракурс лица и др.), и, таким образом, повысить скорость и точность поиска.

Метод главных компонент

Метод главных компонент (Principal Component Analysis, PCA) применяется для сжатия информации без существенных потерь информативности. Он состоит в линейном ортогональном преобразовании входного вектора X размерности N в выходной вектор Y размерности M, где N >M.

Преимущества:

-​ при наличии в наборе изображений лиц вариаций, таких как раса, пол, эмоции, освещение, будут появляться компоненты, величина которых в основном определяется этими факторами. Поэтому по значениям соответствующих главных компонент можно определить, например, расу или пол человека; — хранение и поиск изображений в больших базах данных, реконструкция изображений. Основаная трудность состоит в высоких требованиях к условиям съёмки изображений. Изображения должны быть получены в близких условиях освещённости, одинаковом ракурсе (решается добавлением в обучающую выборку изображений в различных ракурсах) и должна быть проведена качественная предварительная обработка, приводящая изображения к стандартным условиям.

Метод линейного дискриминантного анализа

При помощи метода линейного дискриминантного анализа (Linear Discriminant Analysis, LDA), выбирают проекцию пространства изображений на пространство признаков таким образом, чтобы минимизировать внутриклассовое и максимизировать межклассовое расстояние в пространстве признаков. В этих методах предполагается, что классы линейно разделимы.

Преимущества:

-​ отмечена высокая точность распознавания (около 94%) для широкого диапазона условий освещённости, различных выражений лица и наличия или отсутствия очков.

Проблемы метода:

-​ однако остаются невыясненными вопросы, применим ли этот метод для поиска в больших базах данных, может ли метод работать, когда в тренировочной выборке для некоторых лиц имеется изображение только в одних условиях освещённости; -​ так же не производилось изменения ракурса, а эксперименты с изменением освещения проводились без изменения других факторов. Будет ли данный метод работоспособен при таких сочетаниях тоже неизвестно. Как и в методе собственных лиц, здесь тоже нужна качественная предварительная обработка, приводящая изображения к стандартным условиям. Основной целью настоящей работы является разработка методов распо​знавания и построение информационно-поисковых систем специального при​менени (ИПС СП), обеспечивающих автоматическую иден​тификацию личности человека в реальном масштабе времени по изображению его лица.

Достижение поставленной в работе цели диктует необходимость решения ряда следующих основных задач:

-​ разработка «быстрых» алгоритмов распознавания и выделения основ​ных характеристик изображения человеческого лица, обеспечивающих высокую достоверность идентификации объекта поиска; -​ разработка алгоритма хранения и кодирования вспомогательной ин​формации, характеризующей объект поиска, обеспечивающего прием​лемые объемно-временные показатели функционирования ИПС СП; -​ разработка алгоритма надежной идентификации лиц на основе храня​щейся в базе данных ИПС СП информации; — разработка опытного образца ИПС СП, реализующего перечисленные выше алгоритмы с целью проверки на практике правильности сделан​ных в настоящей работе теоретических выводов, выдачи по результатам опытной эксплуатации ИПС СП рекомендаций по ее дальнейшему со​вершенствованию. Была поставлена задача, сравнить метод главных компонент и метод линейного дискриминантного анализа (ЛДА). Необходимо проверить метод главных компонент и метод ЛДА. Для проведения исследований были разработаны программы на языке C++ Builder, реализующие метод главных компонент и метод ЛДА. Экспериментальные исследования проводились с использованием базы ORL, базы FERET и собственной базы из 15 человек. Во всех базах содержались изображения различных ракурсов регистрации, с произвольной мимикой, различным масштабом и условиями регистрации. Цель настоящего эксперимента заключалась в оценке эффективности метода распознавания для различного количества К классов в базе данных (К = 4, 15, 40, 100, 200 и 395). Оценка эффективности распознавания для малого числа классов (К = 4, 15) показала, что минимальное число образов в каждом классе не должно быть меньше 5, поскольку матрицы ковариации, используемые в методах PCA и LDA, в этом случае становятся особенными и в таком случае нельзя гарантировать стабильность редукции исходного признакового пространства. Первая и вторая компоненты редуцированных признаков Ĺ (vxvy) «отвечают» за поворот и позу головы, а третья — собственно за выражение лица. При этом влияние компоненты в процессе распознавания (в результате выбора близкого образа) тем выше, чем ниже порядковый номер компоненты. Была проведена проверка методов PCA и LDA для случая, когда исходная база данных сложена из двух или более разнородных баз. Для этого к 40 классам базы данных ORL было добавлено 355 классов из базы FERET. Следует отметить, что добавленные изображения имели более низкое разрешение, темный фон, разное освещение и размеры, а также значительные вариации поворотов лица. Вследствие такого отличия исходных данных в пространстве редуцированных признаков появились новые признаки, сгруппированные в отдельной области относительно признаков базы ORL. Результаты исследований приведены в таблице 1. Таблица 1.

Кол-во распознаваемых людейКол-во изображений каждого человекаКол-во изображений, используемых для обученияОшибка второго рода (FRR) при использовании коэффициента корреляции
PCALDA
41050,0000,000
151550.3330.063
100.2300.133
401030.3300.122
50.2500.155
70.1840.033
1002050.1970.056
70.1760.104
2002050.1730.102
70.1040.083
3952050.0830.064
70.0800.046

Вывод

Из приведенного анализа следует что для повышения вероятности распознавания целесообразно использовать сочетание обоих методов. Для этого необходимо проведение дальнейших исследований. Литература 1.​ Головко В.А. Нейроинтеллект: Теория и применения. Книга 1. Организация и обучение нейронных сетей с прямыми и обратными связями — Брест: БПИ, 1999, — 260с. 2.​ Самаль Д.И., Старовойтов В.В. — Подходы и методы распознавания людей по фотопортретам. — Минск, ИТК НАНБ, 1998. — 54с. 3.​ Самаль Д.И., Старовойтов В.В. Методика автоматизированного распознавания людей по фотопортретам // Цифровая обработка изображений. — Минск: ИТК, 1999.-С.81-85. 4.​ Вороновский Г.К., Махотило К.В., Петрашев С.Н., Сергеев С.А. – Генетические алгоритмы, искусственные нейронные сети и проблемы виртуальной реальности. – Харьков: Основа, 1997.

Ждите следующих статей:)

  • распознавание образов
  • исследование методов распознавания

Источник: https://habr.com/post/197974/

Классификация, регрессия и другие алгоритмы Data Mining с использованием R

Линейный дискриминантный анализ:  [38]. Метод главных компонент требует для своего применения

Линейный дискриминантный анализ (Linear Discriminant Analysis, LDA) является разделом многомерного анализа, который позволяет оценивать различия между двумя и более группами объектов по нескольким переменным одновременно (Афифи, Эйзенс, 1982; Айвазян и др., 1989). Он реализует две тесно связанные между собой статистические процедуры:

  • интерпретацию межгрупповых различий, когда нужно ответить на вопрос: насколько хорошо используемый набор переменных в состоянии сформировать разделяющую поверхность для объектов обучающей выборки и какие из этих переменных наиболее информативны?
  • классификацию, т.е предсказание значения группировочного фактора для экзаменуемой группы наблюдений.

В основе дискриминантного анализа лежит предположение о том, что описания объектов каждого \(k\)-го класса представляют собой реализации многомерной случайной величины, распределенной по нормальному закону \(N_m(\mu_k; \Sigma_k)\) со средними \(\mu_k\) и ковариационной матрицей \[\mathbf{C}_k = \frac{1}{n_k — 1} \sum_{i=1}{n_k} (\mathbf{x}_{ik} — \mathbf{\mu}_k)T (\mathbf{x}_{ik} — \mathbf{\mu}_k)\]

(индекс \(m\) указывает на размерность признакового пространства).

Рассмотрим несколько упрощенную геометрическую интерпретацию алгоритма LDA для случая двух классов. Пусть дискриминантные переменные \(\boldsymbol{x}\) — оси \(m\)-мерного евклидова пространства. Каждый объект (наблюдение) является точкой этого пространства с координатами, представляющими собой фиксируемые значения каждой переменной.

Если оба класса отличаются друг от друга по наблюдаемым переменным, их можно представить как скопления точек в разных областях рассматриваемого пространства, которые могут частично перекрываться.

Для определения положения каждого класса можно вычислить его “центроид”, который является воображаемой точкой, координатами которой являются средние значения переменных в данном классе.

Задача дискриминантного анализа заключается в проведении дополнительной оси \(z\), которая проходит через облако точек таким образом, что проекции на нее обеспечивают наилучшую разделяемость на два класса.

Ее положение задается линейной дискриминантной функцией (linear discriminant, LD) с весовыми коэффициентами \(\beta_j\), определяющими вклад каждой исходной переменной \(x_j\): \[z(\boldsymbol{x}) = \beta_1 x_1 + \beta_2 x_2 + \dots + \beta_m x_m.\]

Если сделать предположение, что ковариационные матрицы объектов классов 1 и 2 равны, т.е.

\(\mathbf{C = C_1 = C_2}\), то вектор коэффициентов \({\beta_1, \dots, \beta_m}\) линейного дискриминанта \(z(\boldsymbol{x})\) может быть вычислен по формуле \(\boldsymbol{\beta} \mathbf{= C{-1}(\mu_1 — \mu_2)}\), где \(\mathbf{C{-1}}\) — матрица, обратная к ковариационной, \(\mathbf{\mu_k}\) вектор средних \(k\)-го класса.

Полученная ось совпадает с уравнением прямой, проходящей через центроиды двух групп объектов классов, а обобщенное расстояние Махаланобиса, равное дистанции между ними в многомерном пространстве признаков, оценивается как \[D2 = \mathbf{\beta (\mu_1 — \mu_2)}.\]

Таким образом, в LDA кроме предположения о нормальности распределения данных в каждом классе, которое на практике выполняется довольно редко, выдвигается еще и более серьезное предположение о статистическом равенстве внутригрупповых матриц дисперсий и корреляций. Если между ними нет серьезных отличий, их объединяют в расчетную ковариационную матрицу \[\mathbf{C = \left( C_1(n_1 — 1) + C_2(n_2 -1) \right) / (n_1 + n_2 -2)}.\]

По поводу искусственного объявления ковариационных матриц статистически неразличимыми существуют два различных мнения: одни исследователи считают, что могут оказаться отброшенными наиболее важные индивидуальные черты, характерные для каждого из классов и имеющие большое значение для хорошего разделения, тогда как другие — что это условие не является критическим для эффективного применения дискриминантного анализа. Тем не менее, проверка исходных предположений всегда остается правилом хорошего тона в статистике.

Для проверки гипотезы о многомерном нормальном распределении данных используется многомерная версия критерия согласия Шапиро-Уилка, которая реализована в функции mshapiro.test() из пакета mvnormtest. На вход этой функции подается матрица, строки которой соответствуют переменным, а столбцы — наблюдениям.

В разделах 2.4-2.

5 мы подробно рассматривали пример анализа зависимости между двумя различными способами производства листового стекла (флэш-стекло и по принципу вертикального вытягивания) и составом его химических ингредиентов.

С использованием статистики Пиллая и критерия Хотеллинга была показана статистическая значимость такой связи. Применим многомерный критерий Шапиро-Уилка к оценке характера распределения этой выборки:

DGlass

Источник: https://ranalytics.github.io/data-mining/061-Binary-Classifiers.html

Scicenter1
Добавить комментарий