- AWS is het enige cloud computing-platform van Netflix
- Maar AWS is ook onderdeel van Amazon, eigenaar van Amazon Prime Video, een grote rivaal van Netflix
- Netflix-technici hebben moeite om bij te houden hoeveel bronnen ze gebruiken op AWS
Netflix, het populairste streamingplatform ter wereld, domineert misschien wel het thuisentertainment, maar heeft moeite om een van de grootste operationele uitdagingen het hoofd te bieden: de kosten van cloud computing.
Ondanks zijn technologisch vooruitstrevende imago heeft Netflix toegegeven dat het niet volledig weet hoeveel het aan de cloud uitgeeft, een vergissing die nog verrassender is gezien het feit dat zijn cloudprovider, AWS, deel uitmaakt van Amazone – eigenaar van Prime Video, een van de grootste concurrenten van Netflix.
De cloudinfrastructuur van Netflix vertrouwt op AWS voor rekenkracht, opslag en netwerken en ondersteunt zijn wereldwijde streamingdienst. Technische teams gebruiken zelfbedieningstools om applicaties te maken en te implementeren, waardoor enorme hoeveelheden gegevens worden gegenereerd. De complexiteit van dit ecosysteem maakt het echter moeilijk voor Netflix om precies te begrijpen hoe hulpbronnen worden gebruikt en hoe de kosten zich opstapelen.
Zorg ervoor dat de inhoud blijft stromen
Het Platform Data Science Engineering (DSE)-team van Netflix heeft de taak op zich genomen om dit probleem te ontwarren. De missie van het team is om de technici van het bedrijf inzicht te geven in het gebruik van hulpbronnen, de efficiëntie en de bijbehorende kosten.
Maar zoals Netflix erkende in a recente blogpostis het beheer van de cloudkosten nog steeds een werk in uitvoering.
Om de uitdagingen aan te pakken waarmee Netflix wordt geconfronteerd, heeft Netflix twee tools ontwikkeld: Foundational Platform Data (FPD) en Cloud Efficiency Analytics (CEA). FPD biedt een gecentraliseerde gegevenslaag met een gestandaardiseerd model, waarbij gegevens uit applicaties zoals Apache Spark worden samengevoegd. CEA bouwt hierop voort door bedrijfslogica toe te passen om kosten- en eigendomsattributie te genereren, waardoor inzicht wordt verkregen in efficiëntie en gebruikspatronen.
De hindernissen zijn aanzienlijk. De uitgestrekte infrastructuur van Netflix omvat services met meerdere eigenaren, variërende kostenheuristieken en multi-tenantplatforms die het volgen bemoeilijken.
Gegevensvertragingen en platformspecifieke aanpassingen voegen een extra laag complexiteit toe. Regelmatige audits en datatransformaties zijn nodig om de nauwkeurigheid te behouden, maar het bedrijf geeft toe dat het nog geen volledig inzicht heeft gekregen in zijn clouduitgaven.
Vooruitkijkend zegt Netflix dat het van plan is zijn tools uit te breiden en voorspellende analyses en machine learning te integreren om het gebruik te optimaliseren en kostenafwijkingen op te sporen.
Terwijl het bedrijf zijn aanpak probeert te verfijnen, brengt de situatie een opvallende ironie aan het licht: ’s werelds populairste streamingplatform vertrouwt op de technologie van zijn rivaal om zijn eigen diensten te leveren, maar is nog steeds bezig met het uitzoeken van de werkelijke kosten om zijn inhoud stromend te houden.
