Lukáš Hodný

	O úroveň výš
	Zpět na domovskou stránku

Detekce dopravních značek

Cílem diplomové práce bylo porovnat a zhodnotit dvě metody pro detekci dopravních značek v reálném čase, jmenovitě: hlavní silnice (P2), dej přednost v jízdě (P4), přechod pro chodce (IP6), značka stůj, dej přednsot v jízdě (P6) a omezení rychlosti na 40km/h (B20a). První metoda využívá rozšířené radiální symetrie a metoda druhá využívá kaskádu klasifikátorů. Hlavním hodnoticím prvkem je ROC (receiver operating characteristic) graf, který vyplýva z matice záměn (confusion matrix).

Rozšířená radiální symetrie

Metoda byla prezentována Garethem Loyem a Alexanderem Zelinskym a dále vyvýjena Garethem Loyem a Nickem Barnesem. Metoda využívá symetričnosti objektů (dopravních značek) a snaží se nalézt potencionální střed daného polygonu pomocí hlasování pro daný střed polygonu. Pro tento hlasovací proces je použit tak zvaný volicí a rovnostranný obrázek.

Volící přímky pro jednotlivé tvary.

vstupní obrázek



a příslušný volící a rovnostranný obrázek.


Algoritmus pro konstrukci volícího a rovnostraného obrázku může být popsán takto:

• Ze vstupního obrázku se spočte matice velikosti a ůhlů jednotlivých gradientů pomocí Sobelova operátoru.
• Pro každý poloměr ri z R = {r1, r2, . . . , rn} je sestrojen volicí a rovnostranný obrázek. Volící obrázek akumuluje odezvy jednotlivých volících úseček v každém bodě. Rovnostranný obrázek slouží k eliminaci necenných informací a zvýraznění potenciálních středů polygonů.
• Výsledná odezva pro daný poloměr ri je pak:
  Výsledný odezva = (volící obrázek * rovnostranný obrázek)/škálovací faktor
• Potom jsou spočítány všechny odezvy pro poloměry, které byly zvažovány. Výsledná odezva na daný tvar polygonu je pak dána součtem těchto dílčích odezev.

Tato metoda je schopná detekovat jakýkoliv pravidelný polygon.

Kaskáda klasifikátorů

Metoda byla vynalezena Paulem Violou a Michaelem J. Jonesem a původně byla demonstrována na detekci obličejů -- lze ji ale snadno modifikovat a použít pro detekci a klasifikaci jakéhokoliv objektu. Tři hlavní pilíře metody jsou:

• integrální obrázek - nová reprezentace obrázku, která je použita pro rychlé ohodnocení šablon.
• Natrénovaná kaskáda klasifikátorů, která je navržena tak, aby vyřadila z detekčního procesu co nejvíce negativních kandidátů hned na začátku - to činí metodu velmi rychlou.
• učicí algortimus založený na AdaBoost a navržen tak, aby vybral správnou sadu šablon pro daný objekt.

Detektor je založen na ohodnocení šablon (v našem případě Haarovy základní šablony), viz obrázek

Algoritmus může být zjednodušeně popsán takto:

Vstupní obrázek není zpracováván jako celek, ale po částech. Tyto části, pod-okna, jsou vlastně vyřízlé části z původního obrázku ve všech možných pozicích a velikostech, přičemž se respektuje určitý krok mezi pozicemi a měřítkem. Základní velikost pod-okna je v našem případě 24 x 24 pixelů.

Pro natrénování kaskády musí být předem označeno několik tisích positivních a negativních vzorků.

Posléze je přivedeno pod-okno na začátek kaskády, je-li vyhodnoceno jako positivní pokračuje do dalšího stupně kaskády v opačném případě je vyřazeno a jako vstup kaskády je zvoleno další pod-okno. Projde-li pod-okno všechny stupně kaskády s positivním výsledkem je označeno za reprezentaci daného objektu.

Porovnání

Obě metody byly porovnány na dvou velých data setech obsahující všechny typy zvažovaných dopravních značek. První data set (“uniformní”) obsahoval obrázky jednotlivých dopravních značek a každá dopravní značka byla zastoupena 80krát. Druhý data set (“skutečný svět”) obsahoval 400 obrázků, kde každá dopravní značka byla zastoupena podle jejího pravděpodobnostního zastoupení v intravilánu města. Obrázky v data setech byly pořízeny v různých povětrnostních podmínkách a v různých částech dne. K zajištění detekční schopnosti pro obě metody byl průměr dopravní značky v data setech větší než základní rozlišovací schopnost detektoru, a to 24 x 24 pixelů. Obrázky byly získány via Google a z mé osobní databáze. Pro hodnocení obou detektorů byl zvolen ROC graf.

Výsledky

Radiální symetrie dává velmi dobré výsledky pro kruhové dopravní značky jmenovitě stůj, dej přednost v jízdě a omezení rychlosti 40km/h (schopnost detekce přes 90%). Avšak, výsledky pro ostatní zvažováné dopravní značky jsou průměrné. Vyšší detekční schopnost může být docílena tím, že na úkor výpočetního času použijeme rovnostranný obrázek. Tato metoda je také více náchylná na falešné hlášení, že jde o dopravní značku. Velkou nevýhodou této metody je apriorní znalost poloměru dopravní značky, to činí metodu málo robustní pro statické obrázky. Na druhou stranu ve video sekvenci velikost dopravní značky roste od malého bodu k velkému objektu a proto není znalost poloměru třeba. Metoda je také velmi citlivá na světelné podmínky, je velmi težké detekovat zaštíněné objekty či objekty zakryté vetvemi. Namísto dopravní značky pak detekuje více kontrastní objekt přibližně stejné velikosti.

Kaskáda klasifikátorů dává dobré výsledky pro nekulaté dopravní značky jmenovitě hlavní silnice, přechod pro chodce a dej přednost v jízdě - detekční schopnost přes 85%. Ale výsledky pro kruhové značky byly průměrné. K dosáhnutí lepších výsledků je třeba kaskádu natrénovat s mnohem vetší sadou positivních a negativních vzorků . Nespornou výhodou této metody je to, že detekce a klasifikace daného objektu je provedena součastně. Dále pak to, že metoda je invarintní vůči velikosti objektu a je méně citlivá na světelné podmínky. Vzheledm k tomue, že pro každou dopravní značku musí být natrénována kaskáda, je třeba pro celkové vyhodnocení obrázku více času. Metoda je také shopna detekovat zastíněné objekty anebo objekty zakrzté větvemi. Naproti tomu, obejkty, které jsou menší než základní rozlišovací schopnost nemohou být detekovány.
Shrnuto - radiální symetrie může být použita pro detekci kulatých dopravních značek tzn. značek zakazujícího charakteru a značky stůj, dej přednost v jízdě. Zatímco kaskáda klasifikáorů je vhodné použít na detekci hranatých dopravních značek tzn. značek informativního charakteru. Vzhledem k pravděpodobnostnímu zastoupení dopravních značek v reálném světě dává kaskáda klasifikátorů lepší výsledky.

Rychlost detektoru pro obrázky o rozlišení 320 x 240 pixelů je:

• radiální symetrie 0.25 sekund / obrázek
• kaskáda klasifikátorů 0.2 sekund / obrázek
  

Tesováno na AMD Athlon 2600+, 256MB, MS Windows XP s využitím OpenCV library.

Níže uvedené obrázky ukazují výsledky obou metod (levý sloupec - radiální symetrie, pravý sloupec - kaskáda klasifikátorů).

Literatura

[1] Loy G., Barnes N., “Fast shape-based road sign detection for a driver assistance system”, in: Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems, Sendai, Japan, 2004.
[2] Loy G., Zelinsky A., “Fast radial symmetry for detecting points of interest”, IEEE Trans Pattern Analysis and Machine Intelligence, vol. 25, no. 8, pp. 959-973, Aug.2003.
[3] Barnes N., Loy G., “Real-time Regular Polygonal Sign Detection”, Proc 5th International Conference on Field and Service Robotics (FSR), 2005.
[4] Viola P., Jones M. J., “Robust Real-time Object Detection”, Cambridge research laboratory, february 2001.
[5] Freund Y., Shapire R. E., “A decision - theoretic generalization of online learning and an application to boosting”, in Computational Learning Theory: Eurocolt 95, pages 23-27. Springer-Verlag, 1995.
[6] OpenCV documetation. Available on internet [accesed 10th October, 2006] http://www.cse.iitb.ac.in/~sharat/current/cs687/opencv/
[7] AdaBoost presentation. Available on internet [accesed 13th October, 2006] http://www.robots.ox.ac.uk/~az/lectures/cv/adaboost_matas.pdf
[8] Boosting. Wikipedia enclyclopedy. Available on internet [accesed 16th October, 2006] http://en.wikipedia.org/wiki/Boosting
[9] Bahlmann C., Zhu Y., Visvanathan R., Pellkofer M., Koehler T., “A system for traffic sign detection, tracking, and recognition using color, shape, and motion information“, T. Intelligent Vehicles Symposium, 2005. Proceedings. IEEE Volume , Issue , 6-8 June 2005 Page(s): 255-260
[10] ROC graph and confusion matrix destription. Available on internet [accesed 20th October, 2006] http://www2.cs.uregina.ca/~dbd/cs831/notes/ROC/ROC.html
[11] Boyle R., Thomas R., “Computer Vision: A First Course”, Blackwell Scientific Publications, 1988, pp 48-50.
[12] Sandoval H., Hattori T., Kitagawa S., Chigusa Y., “Angle-dependent edge detection for traffic signs recognition”, in Intelligent Vehicles Symposium, 2000. IV 2000. Proceedings of the IEEE, pages 308-313, Dearborn, MI, USA, 2000.
[13] Garcia-Garrido M. A., Sotelo M. A., Martin-Gorostozia E., “Fast road sign detection using hough transform for assisted driving of road vehicles”, 10th international conference on computer aided systems theory, Las Palmas de Gran Canaria, Spain, February 7-11, 2005.
[14] Google search. Aviliable on internet [accesed 10th October, 2006] http://www.google.com
[15] Lienhart R., Maydt J., “An Extended Set of Haar-like Features for Rapid Object Detection”. Submitted to ICIP2002.
[16] Mašín J., Personal communication, TSK Praha, Prague, 2006
[17] Rowley H., Baluja S., Kanade T., “Neutral network-based face detection”. In IEEE Patt.Anal.Mach.Intell., volume 20, pages 22-38, 1998.
[18] Gentle AdaBoost description. Aviliable on internet [accesed 25th November, 2006]

Soubory