Az Azure Blob és az Azure Data Lake egyik újdonságát fogjuk most bemutatni.
Mi az a BLOB?
Binary Large Object storage – az egyik legrégebbi Azure szolgáltatás, segítségével strukturálatlan adattömeget (fájlok, videók, képek, logok, mentések stb.) tárolhatunk hatékonyan a felhőben. 3 típusa van:
- Block
- Page
- Append
Ebben a bejegyzésben nem részletezem a különbségeket a 3 típus között, legyen most annyi elég, hogy IT üzemeltetési szempontból nekünk a Block Blob a lényeges.
Mi az a Storage Tiering?
Azt jelenti, hogy a felhőben tárolt Block Blobjaimat mindig az aktuális igényeknek megfelelően tárolhatom:
- Elérés sebessége és módja
- Árazás
Típusai:
- Hot
- Cool
- Cold
- Archive
- Smart (erről lesz szó, hamarosan!)
A storage tiering úgy működik, hogy ha nincs szükségem valamilyen adatra sokáig (pl.: logok, régi filmek) akkor „hátra” sorolom másik rétegbe (tier-be). Így olcsóbb lesz a tárolásom, de lassabb vagy éppen költséges az elérésem. Archive rétegbe például akkor érdemes adatokat átmozgatni, ha minimum 180-360 napig biztosan nem fogunk hozzá férni.
Mi az a Storage Lifecycle Manager?
Olyan Azure szolgáltatás („felhős job”) melynek segítségével az automatikus adatmozgatást elvégezhetem valamilyen szabályok szerint, pl.:
ha az adott BLOB-on nem volt se írási olvasási művelet 30 napig, akkor mozgasd át Cool-ba, majd 60 nap után Cold-ba, majd 180 nap után Archive-ba stb.
Figyeljünk rá, hogy az adatmozgatásnak is van díja, hiszen folyamatosan írjuk/olvassuk az adott fájlt, vagyis blob-ot!
Ezen kívül, ha egy rétegbe túl korán mozgatunk át adatokat (pl.: HOT-ból Cool-ba 15 nap után) akkor korai törlési díjat is felszámolnak!
Hogyan működik a Storage Smart Tiering?
Ezzel az új rétegezési megoldással nem kell manuálisan létrehozzunk Storage Lifecycle manager szabályokat, nincs adatmozgatási díj, nincs korai törlési díj, nem kell mindenféle táblázatot böngésznünk!
Nagyon egyszerű a működési modell:
- minden 30 napnál régebbi adat mozog automatikusan Cool rétegbe
- minden 90 napnál régebbi adat mozog automatikusan Cold rétegbe
- minden adat „visszaugrik” HOT rétegbe a hozzáféréskor
- nincs korai törlési díj
- van egy minimális „Monitoring fee” minden olyan BLOB-ra, mely nagyobb mint 128 KiB (minden 10 000 objektumonként 0,04 EUR/hó)
Nézzük az árakat!
A következő feladatot kaptuk az egyik partnertől/ügyféltől:
Van egy Veeam backup szerver, a heti mentés nagysága 15TB, ezt kellene kitolni Azure-ba hetente és megőrizni az adatokat 180 napig! Azt, hogy mennyi BLOB-ot hoz majd létre a szoftver nem tudjuk.
Első kalkuláció Lifecycle Manager használatával
HOT mentés 30 napig: 15 TB – kb 300 EUR/hó és az írási olvasási tranzakciók számát nem ismerjük!
Cool mentés 60 napig: 30 TB – kb 341 EUR/hó
Cold mentés 90 napig: 45 TB – kb 195 EUR/hó
összesen: 90 TB kb. 900 EUR/hó és nem tudjuk, hogy mennyi lesz az írási olvasási tranzakciók száma és költsége sem az első mentéskor, sem később a tiering során! Ez az ismeretlen szám nagyon magas is lehet és nagyon nehéz becsülni! (a költség nem azonnal jelentkezik, hanem fokozatosan növekszik 180 napig, míg be nem áll a végleges állapot)
Smart Tier kalkuláció
Lesz egy ismeretlenem az egyenletben szintén: blobok száma a mentés után. (első alkalommal kiderül, érdemes egy POC keretében kipróbálni!)
Tárolási díj ugyanúgy 90 TB kb. 900 EUR, viszont nem lesz tranzakciós díjam és korai törlési díjam sem + nincs munka a Lifecycle manager beállítással és annak módosításával: minden automatikusan fog történni! (szintén fokozatosan fog nőni a számla, nem azonnali költség!)
A költségek korai megfigyelése sok segítséget adhat a további beállítások helyes kiválasztásában!
Beállítása
Minden zóna redundáns storage account-on bekapcsolható, vagy új storage fiók létrehozásakor is kiválasztható:
1. ábra Storage Smart Tier forrás: https://techcommunity.microsoft.com/blog/azurestorageblog/unlocking-storage-optimizations-smart-tiering-for-blobs-and-adls-in-azure-storag/4469811
Mikor használjunk Smart Tiering-et?
Amikor nem tudjuk pontosan, hogy az Azureba mentett vagy archivált adatokra pontosan mikor van szükségünk, nem határolhatók el az egyes rétegek egzakt módon.
Amikor ad hoc gyorsan és olcsón kell hozzáférni 30, 60, 90 napos adatokhoz.
Mikor ne használjuk? – Amikor valamit archiválni szeretnénk és teljesen biztosak vagyunk benne, hogy több mint 180 napig az adathoz biztosan nem kell hozzáférnünk! ebben az esetben ott van az Archive Tier – szuper olcsón!