Klasyka sztucznej inteligencji - rozpoznawanie obrazów

O zadaniu rozpoznawania obrazów jako o jednym z pierwszych problemów podejmowanych i rozwiązywanych w ramach sztucznej inteligencji była już mowa w tym blogu, gdy opisywałem Perceptron. Teraz jednak skupimy się na tym zadaniu nieco dokładniej. Zadania rozpoznawania obrazów występujące w codziennym życiu zwykle nie stanowią żadnego problemu dla człowieka. Wystarczy rzut oka - i już rozpoznajemy znajomą osobę, znany przedmiot, widywany krajobraz. Natomiast to samo zadanie dla komputera okazuje się bardzo trudne. A tymczasem potrzebujemy komputerów rozpoznających obrazy. Człowiek jest wzrokowcem i całe swoje otoczenie tak zorganizował, że najważniejsze informacje pozyskujemy za pomocą wzroku. Tak działamy w pracy, w domu i w podróży. Większość decyzji podejmujemy na podstawie tego, co widzimy!

Początek jest łatwy, bo proces pozyskiwania cyfrowych obrazów opanowaliśmy obecnie do perfekcji - robi to każdy aparat fotograficzny, którego budowę i działanie omówiłem wcześniej. Ale potem trzeba zarejestrowany cyfrowo zbiór punktów obrazu (tak zwanych pikseli) zamienić na decyzję. I to nie jest łatwe! Metodami matematycznymi służącymi do tego celu zajmowałem się od wielu lat - początkowo studiując (i tłumacząc na język polski) książki innych autorów.

Potem następuje analiza i określenie cech obrazu. To bardzo ważny etap, gdyż algorytmy opisu obrazy nie mogą (na ogół) zmagać się z milionami pikseli składającymi się na oryginalny obraz, tylko muszą dostać wygodną do interpretacji reprezentację obrazu w postaci pojedynczego punktu w przestrzeni cech. Zajmiemy się tym dokładniej za chwilę.

Najwygodniej jest, gdy uda się przypisać do rozpoznawanych obiektów cechy o charakterze ilościowym, to znaczy takie, które dadzą się zmierzyć, wyrazić ilościowo i odłożyć na osiach układu współrzędnych tak zwanej przestrzeni cech. Rozważmy zadanie rozpoznawania, w którym rozpoznawanymi obiektami są ludzkie twarze. Możemy każdą twarz scharakteryzować przez zmierzenie jej szerokości, wielkości ust i rozstawu oczu. Jeśli dla konkretnego obiektu (twarzy) zmierzymy te cechy i odłożymy ich wartości odpowiednio na osiach trójwymiarowego układu współrzędnych - to w przestrzeni opisywanej przez te cechy wyznaczymy pewien punkt, który może w dalszych rozważaniach reprezentować ten konkretny obiekt.

W przypadku rozpoznawania twarzy, różne wizerunki twarzy tego samego człowieka powinny być rozpoznawane jako należące do jednej klasy, prowadzącej do jednej konkretnej decyzji (na przykład otworzyć drzwi). Różne obrazy twarzy tego samego człowieka obiektywnie różnią się od siebie, bo człowiek raz jest poważny, innym razem wesoły, może mieć dłuższe albo krótsze włosy, może być różnie ubrany (włączając w to nakrycie głowy), może patrzeć wprost w kamerę, albo ustawiać się profilem itd. Wszystkie te obrazy są jednak utożsamiane z tym samym rozpoznaniem (to jest Janek) i z tą samą decyzją.

Jednak w większości zastosowań rozpoznawaną klasą jest zbiór wszystkich obrazów obiektów, które mają jakieś istotne cechy wspólne, prowadzące do tej samej decyzji końcowej (takiego samego rozpoznania). Jako przykład możemy rozważyć zbiór wszystkich liter A odczytywanych ze skanowanych dokumentów. Obrazy tych liter mogą być różne, bo różne są kształty czcionki używanej do druku, różna jest ich wielkość, różny kolor, różne tło itd. - ale zawsze na podstawie takiego obrazu powinna być podjęta ta sama decyzji końcowa: to jest litera A. Jako inny przykład można wymienić (w zastosowaniu do diagnostyki medycznej) zbiór osób chorych na grypę. Chociaż niewątpliwie każdy pacjent ma swoje indywidualne cechy, to jednak są też cechy pozwalające na przypisanie tych wszystkich pacjentów do klasy grypa oraz umożliwiających ich odróżnienie od osób zdrowych lub cierpiących na inne choroby.

W opisanej wyżej przestrzeni cech obiekty należące do tej samej klasy tworzą skupienie dobrze odseparowane (odległe) od skupień reprezentujących obiekty innych klas.

Po określeniu cech obrazu powinien nastąpić jego opis. Przedstawiając ten etap procesu rozpoznawania jestem trochę w kłopocie, bo powinienem odwołać się do matematycznego pojęcia funkcji przynależności - a trudno jest to zrobić nie wypisując żadnych wzorów. Ale spróbuję...

Funkcje przynależności pełnią podobną rolę w rozpoznawaniu obrazów, jak omawiane wcześniej funkcje przynależności w teorii zbiorów rozmytych. Jednak te funkcje przynależności, których używamy w rozpoznawaniu obrazów muszą być tworzone automatycznie przez algorytm rozpoznający na podstawie procesu uczenia. Z procesem tym spotkaliśmy się już przy omawianiu właściwości Perceptronu a także przy przedstawianiu bardzo wydajnych narzędzi sztucznej inteligencji, jakimi są sieci neuronowe. Uczenie algorytmu rozpoznającego powinno doprowadzić do tego, by w każdym punkcie przestrzeni cech dla każdej z rozpoznawanych klas obrazów można było określić, jak bardzo obiekt związany z tym właśnie punktem przestrzeni zasługuje na to, żeby można go było zaliczyć do tej właśnie klasy. Na rysunku pokazano przykładowo funkcje przynależności zbudowane dla dwóch klas w dwuwymiarowej przestrzeni cech.

W rzeczywistych zadaniach rozpoznawania przestrzeń cech bywa wielowymiarowa, a rozpoznawanych klas bywa kilkadziesiąt, więc budowa funkcji przynależności nie jest zadaniem łatwym. Ale są wypracowane metody, które pozwalają to skutecznie robić nawet dla bardzo skomplikowanych zadań. Często zresztą upraszczamy zadanie i zamiast budować funkcje przynależności poszukujemy funkcji, które mogą opisywać w przestrzeni cech granice pomiędzy skupieniami poszczególnych klas. Jest to szczególnie łatwe, jeśli taka granica jest linią prostą (w przestrzeni dwuwymiarowej ) lub płaszczyzną (w przestrzeni o większej liczbie wymiarów). Nie zawsze jednak to się udaje, jak widać na rysunku po prawej stronie...

Na koniec dodam, że w prostych przypadkach rozpoznawanie można przeprowadzać także bez formalnego obliczania funkcji przynależności na podstawie prostej intuicji "najbliższego sąsiada". Jeśli w przestrzeni cech mamy punkty pochodzące ze zbioru uczącego (to znaczy lokalizacje obiektów, których przynależność do określonych klas jest znana) i pojawia się nowy obiekt, którego przynależność trzeba dopiero określić, to najprościej jest zaliczyć go do tej klasy, do której należą obiekty zbioru uczącego, leżące najbliżej nieznanego (rozpoznawanego) obiektu.