Szerkesztő:Gyimesi Gábor
Számítógépes képelemzés projekt 2012
Bátyai Dániel, Gyimesi Gábor, Gyimesi Péter
A feladat
[szerkesztés]Adottak képek, melyek minimum 20%-ban fedik egymást. Készítsünk algoritmust, amely ezekből a képekből a megfelelő paraméterek segítségével előállít egy panorámaképet.
Lépések
[szerkesztés]- Sarokpont detektálás
- Olyan pontokat kell keresnünk, amelyek megbízhatóan jellemzik az adott képen látható objektumokat.
- Sarokpontok párosítása
- A képekből kinyert pontokat meg kell feleltetni egymásnak.
- Párosított pontok szűrése
- A megfeleltetések közül azokat kell kiválasztani, melyek valóban jó pontpárok, vagyis ugyanahhoz az objektumhoz tartoznak.
- Transzformáció
- A helyes párosításból elő kell állítanunk a transzformációhoz szükséges adatokat, majd végrehajtani azt.
- Utómunkálatok
- Két kép illesztése után felmerülhetnek problémák, mint például az illesztési vonalak feltűnősége, vagy kettőnél több kép illesztése.
Sarokpont detektálás
[szerkesztés]
Sarokpontoknak nevezzük az olyan pontokat, ahol élek találkoznak. Az élek mentén a képfüggvény nagyot változik az egyik irányban. Élek találkozásánál ez a függvény minden irányban nagyot változik. Ezt egy csúszóablakkal lehet figyelni.
Ezek a pontok megbízhatóak, mert ellenállnak a geometriai és fotometriai deformációknak. A Harris sarokdetektáló algoritmus segítségével könnyen kinyerhetőek ezek a pontok.
Ha tudjuk az átfedés helyét, akkor leszűkíthetjük a keresési területet, ezzel több sarokpontot kapva.
Sarokpontok párosítása
[szerkesztés]
Ahhoz hogy az egyes pontokat párosítani tudjuk, tulajdonságokat kell kinyernünk róluk. Vegyük a sarokpontok körüli négyzet pontjait sor folytonosan, majd az így előállt vektorokat hasonlítsuk össze. A vektorok négyzetes eltérésének vizsgálatával kapott eltérés szerint állítsuk sorba a vektorokat, majd a legkisebb eltérésűeket párosítsuk össze.
SSD - Sum of Squared Difference:
- Vegyük a vektorok négyzetes eltérését.
- Minden vektorhoz keressük meg azt a vektort, amivel az SSD értéke a legkisebb.
- Válasszuk ki azokat a párokat, amelyeknek az eltérése a küszöbérték alatt van.
A párosítás után egyes pontok kimaradtak, és egyes pontokhoz rossz párokat talált meg. Ezt a párosítások szűrésével küszöbölhetjük ki.
Párosított pontok szűrése
[szerkesztés]
RANSAC szűrés - RANdom SAmple Consensus
Ez egy iteratív módszer, mely egy ponthalmazból kiszűri az outliner-eket, vagyis azokat a pontokat, amelyek a legkevésbé illeszkednek közéjük.
- Véletlenszerűen választ pontokat a halmazból
- Leteszteli az összes többi pontot, hogy mennyire illeszkedik a kiválasztott pontokból alkotott modellbe, vagyis hogy inliner-e
- Minél több az inliner, annál jobb a modell
- A megadott iterációs lépés alatt talált legjobb modellt adja vissza
A szűrés lefuttatása után megkapjuk a jó pontpárokat.
Transzformáció
[szerkesztés]A RANSAC szűrés után megmaradó pontpárokból felírható egy túlhatározott lineáris egyenletrendszer.
Ennek az egyenletrendszernek a megoldásából felírható a homográfia, ami az egyik képet a másikba viszi át. A homográfia egy olyan (esetünkben) 3x3-as mátrix, ami tartalmazza a szükséges transzformációkat, hogy a két kép illeszkedjen. Ha vesszük az eredeti kép homogén koordinátájának transzponáltját, azt megszorozzuk balról a homográfia mátrixával, akkor az új kép koordinátáinak egy ω-szorosát kapjuk. Az ω a mátrixszorzás után alakul ki a 3. koordinátában. Ezzel leosztva kapjuk az új koordinátákat.
Utómunkálatok
[szerkesztés] |
 |
 |
A képek illesztésekor meglátszódhatnak az illesztési vonalak. Ezt a képek eltérő intenzitása okozza, mert más-más lehet a fényviszony a képek készítésekor. Az illesztések mentén történő intenzitássimítással ezek az élek elrejthetők.
Minden eltranszformált képhez készítünk egy maszkot, ami meghatározza, hogy mely pixelek tartoznak a képhez, így a fekete részek nem zavarnak be az intenzitássimításba.
A simításhoz egy súlytérképet használunk, amit eltranszformálunk a képpel együtt. Ez megmondja, hogy egy adott pixelnél mekkora súllyal kell venni az intenzitást.
A panorámaképek általában több képből állnak, ezért valamilyen módon automatizálni kell az illesztési folyamatot. A képeket egymás után kell megadni, és minden képnél azt is, hogy milyen irányból illessze az előző képhez, valamint hogy mekkora az átfedési terület a két kép között. Ezen kívül megadható, hogy az átfedő terület két végét levágja-e az algoritmus. Az átfedéses területet felosztva egyenletesebben tudjuk kinyerni a sarokpontokat. Miután minden képpárhoz kiszámítottuk a transzformációs mátrixot, a szintén paraméterként megadott sorszámú képet vesszük a panorámakép közepének. Ehhez transzformáljuk a többi képet a homográfia mátrixok szorzásával kapott transzformációval.
Az algoritmusnak számos paramétere van, melyek behangolása nehéz feladat, nagyban befolyásolja a képek felbontása.
Konklúzió
[szerkesztés]Az algoritmus a bemeneti képekről feltételezi, hogy azok élesek, nagy síkfelületek találhatóak rajta, vagy egy tájkép, és egy nézőpontból készültek. A nézőpont változása a panorámakép készítés sikerességét nagyban rontja. Továbbá a növényzet, és annak változása a szél miatt is eredményezhet hibákat. A képeken előforduló mozgó objektumok (emberek, autók) a két képen más pozícióban jelenhetnek meg. Ilyenkor ezek elmosódhatnak, halványak lehetnek.
A feltételeket kielégítő képek, és a megfelelő paraméterezések mellett eredményesen lehet panorámaképeket készíteni az algoritmussal.
