Balázs Fleischer

Lead Developer @ Cégjelző

Struktúrált és félig struktúrált adatok feldolgozása AWS környezetben

Logok minden rendszerben vannak. Használjuk őket az infrastruktúra monitorozására, kimutatásokat, használati mintákat, elemzéseket végzünk a bennük rejlő információk alapján.
De hol tároljuk őket?
Írjuk adatbázisba, rekordok millióival zsonglőrködjünk, hogy a hó végi kimutatáshoz rendelkezésre álljanak az adatok? Csináljunk minden hónapban új táblákat az aktuális logoknak, hogy ne tartson az elemzés órákig? Vagy írjuk inkább fileokba? Írjunk külön service-eket az archiválásra, hogy a foglalt lemezterület ne elsősorban logokból álljon? Mit történik, ha technológia váltás van, és át szeretnénk térni egy új formátumra? Az előadás során igyekszem bemutatni, hogy az Amazon Athena milyen lehetőségeket kínál arra, hogy a fenti kérdések ne okozzanak megoldhatatlan problémát, és közben ne kelljen sem az infrastruktúra, sem a költséghatékonyság miatt aggódni.