Műholdkép adatok in-memory-computing technológiájú elemzési lehetőségeinek kutatása

Innolab

In-memory-computingról beszélünk amikor RAM-ban tároljuk a feldolgozandó adatokat, annak érdekében hogy a lehető leghamarabb felfedezzünk mintázatokat benne, vagy elemezzük az adatokat, illetve műveleteket végzünk rajtuk. A munkám során az SAP által fejlesztett High-Speed Analytical Appliance (HANA) technológiát használtam. Összehasonlítások alapján a HANA hozzávetőlegesen 1/10.000 s alatt végzi el azt a műveletet, amit egy hagyományos merevlemez 1 s alatt tenne. Segítségével könnyen cachelhetőek az adatok, elősegítve a gyors keresést.

A műholdadatokat az Európai Űrügynökség (ESA – European Space Agency) szolgáltatta.

 Elemzéseim

A kutatásaim során olyan adatok feldolgozásán dolgoztam melyek a Sentinel 1-5 műholdakról érkeztek. Ezek nehézsége, hogy az egyes műholdak pályájából adódóan a Föld csak kis részeit voltak képesek lefedni Global Albedo Index esetén például a pólusok sokkal kisebb hangsúlyt kapnak így a feldolgozott adatokban. A képek részletessége alapján meglátásom szerint a rendszer képes lenne precízebb analitikára is, amennyiben több Sentinel tudna azonos indexet mérni, azaz ha csökkenthetőek lennének a keringési idő okozta csúszások.

A Copernicus program véleményem szerint kiválóan alkalmas olyan hosszú távon lejátszódó események elemzésére, mint például az óceánok oxigénkibocsátása, a klorofil-II index segítségével. Ezen kívül a visszavert sugársűrűség alapján jó közelítéssel számolható az átlaghőmérséklet. Adott terület felett elhaladó műholdból kinyerhető adatok alapján közel 50 cm-es pontossággal határozhatók meg az épületmagasságok, illetve a domborzat. A vulkánok kitörését jelző kéndioxid kibocsátás adatai viszonylag zajosak, de a centrumtól számított néhány 10 km-en belül egyértelműen azonosíthatóak. A légszennyezés adatok vizsgálatakor a PM10 (Particulate Matter) koncentráció jól mutatta hogy az egyes európai nagyvárosok fejlettségben hogyan térnek el egymástól. Greenness index segítségével az erdők klasszifikációját végeztem el, egy német terület felett. A HANA segítségével könnyen készíthetők olyan kimutatások melyek a fentebb említett adatokat ábrázolják térképen, oly módon hogy kijelölés segítségével real-time újraszámolja a lefedett részeket.

Összegzés

Meglátásom szerint az SAP HANA in-memory computing technológiája remek teljesítményt nyújt peta bájt nagyságrendű adatok feldolgozásakor is, segítségével elérhetővé tehető a műholdadatok real-time kezelése a felhasználók számára.

Készítette:

Csorba Géza

Budapest 2015. 01. 30.