Performantie testen
Eenvoudig uitgelegd
24
Apr
Posted by: Eva
Category:
Business, Performance testing, Test automation
No Comments
De Kampioenenviering van je favoriete voetbalploeg
Situatie
Je favoriete voetbalploeg speelt op de laatste dag van het seizoen, op eigen veld, kampioen.
Probleem
2 uur na de wedstrijd, in volle viering, blijkt het bier op te zijn. Er was een inschatting gebeurd hoeveel bier er zou gedronken kunnen worden, op basis van eerdere overwinningen in de club.
Impact
Misnoegde feestvierders: “Dat hadden ze nu toch kunnen voorzien!?” De club belt in allerijl naar omliggende cafés om extra vaten bier aan te voeren.
Nood
Betere en realistischere inschatting van wat het drank verbruik bij een kampioenenviering zou kunnen zijn. Eventueel een afspraak met de brouwer maken om bij de laatste wedstrijd van het seizoen stand-by te staan indien er extra drank zou nodig zijn
Péage in Frankrijk in volle zomerspits
Situatie
Een ‘zwart weekend’ op de baan door een combinatie tussen vertrekkend en aankomend vakantieverkeer. In Frankrijk slibben de banen dicht en bij de péage punten is het ellendig lang aanschuiven.
Probleem
Het wegennet kan al het extra vakantieverkeer onvoldoende aan en aan de tolhuisjes worden biljetten, muntjes en Cartes Bancaires zo snel als mogelijk uitgewisseld of ingevoerd in ruil voor vrije doorgang voor de volgende 200km.
Impact
Misnoegde reizigers: “Dat hadden ze nu toch kunnen voorzien!?” Vakantiesfeer in de auto zakt onder 0. Sluipverkeer over de Routes Nationales (verplaatsing van het probleem).
Nood
Betere spreiding van zomervakantie periodes over Europa (reeds deels in voege), Extra baanvakken (waar mogelijk een spitsstrook) en een vlottere doorstroming aan de péage punten.
Online schoolplatform in tijden van Corona-crisis
Situatie
Leerplatformen die als extra hulpmiddel worden gebruikt naast het dagelijkse schoolwezen worden plots het hart van het onderwijsorgaan om documenten, fimpjes, powerpoints en oefeningen aan te bieden.
Probleem
Te veel simultane bewegingen, gebruikers en acties op deze platformen zorgen voor langere responstijden en time-outs (ervaring: “de website werkt niet”).
Impact
Misnoegde ouders, leerkrachten en leerlingen: “Dat hadden ze nu toch kunnen voorzien!?”
Nood
Betere en realistischere inschatting van wat het online gebruik bij een (Corona-) crisis zou kunnen zijn. Eventueel een afspraak met de Cloud Provider om de capaciteit uit te breiden wanneer nodig.
Voor deze 3 voorbeelden, kan je het normaal- (load), hoog- (volume) en extreem hoog (stress) verbruik/gebruik inschatten. Laat ons er ook van uit gaan, dat functioneel alles goed werkt:
- Bij de voetbalploeg werken alle tapinstallaties en frigo’s, en zijn er voldoende werkkrachten
- Bij de péage punten zijn er geen wegenwerken en alle tolhuisje functioneren naar behoren
- Op de schoolplatformen werken alle functionaliteiten zoals het hoort
Waar gaat het dan precies fout?
Als je het mij vraagt, bij de inschatting van het meer dan normale gebruik / verbruik, m.a.w. volume en stress. Aangezien we nu toch geen kampioenenviering zullen bijwonen en waarschijnlijk ook niet naar Frankrijk zullen reizen deze zomer, stel ik voor dat we eens even inzoomen op de schoolplatformen. Een probleem waar sommigen onder jullie afgelopen dagen misschien wél mee te maken kregen.
In het geval van de schoolplatformen was het maximale gebruik van de laatste dagen wellicht nauwelijks voorspelbaar toen het schooljaar van start ging. Ik vermoed dan ook dat er in het verleden alleen testen gebeurd zijn met een lagere load/belasting en dat er nu, door de coronacrisis, dus nieuwe parameters ter beschikking zijn om de performantie opnieuw uit te voeren.
Wat is performantie testen?
Performantie testen bestaan voor een groot deel uit het inschatten wat een normaal, hoog en maximaal gebruik van een applicatie is en welke reactietijden daarbij kunnen worden verwacht. Met reactietijden bedoelen we de tijd nodig om een handeling/transactie uit te voeren in de applicatie waarbinnen het OK blijft voor een gebruiker. Als een gebruiker te lang moet wachten krijgt hij/zij het gevoel dat de applicatie niet meer correct werkt. Deze testen maken deel uit van de non-functionele vereisten van een applicatie of systeem, m.a.w. niet WAT een applicatie doet (functionele vereisten), maar HOE het dit doet.
Performantie testen bestaan voor een groot deel uit het inschatten wat een normaal, hoog en maximaal gebruik van een applicatie is en welke reactietijden daarbij kunnen worden verwacht.
Iedereen herinnert zich nog wel dat, ruim een decennium geleden, websites voor concerttickets steevast onderuit gingen wanneer populaire bands hun tournee aankondigden. Deze websites hebben sindsdien geleerd om hun technische infrastructuur aan te passen aan de (opgemeten) load op hun applicaties. Door te meten en bij te sturen, werken nu vrijwel al deze concertwebsites vrij performant en wacht je bv. keurig in een virtuele rij tot het jouw beurt is.
Deze websites hebben het geluk om behoorlijk veel iteraties te hebben van maximale load op hun systeem. Want telkens een wereldvedette een concert aankondigt, is er een nieuwe maximale load / stress meting op hun systeem (= monitoring in een live omgeving). Hierdoor kunnen zij telkens bijsturen. Indien je deze luxe niet hebt, zoals bij de schoolplatformen, is het beter om preventief te gaan testen en inschatting of voorspellingen te maken (= performantie testing in een test omgeving). Hierbij benadert de test omgeving best zoveel mogelijk de uiteindelijke live omgeving.
Simulaties uitvoeren op de AUT
Door automatische test scripts te finetunen, aan te passen en te parametriseren, kunnen verschillende load simulaties uitgevoerd worden op de AUT (Application Under Test). Tijdens deze testen kunnen er verschillende types testen gesimuleerd worden:
Load: meten van de performantie van de AUT tijdens het verhogen van de load op de applicatie (meer concurrent gebruikers en/of (trans)acties). De AUT wordt gemonitord op response tijden, geheugengebruik etc. Alle actie / load ligt hier binnen de normale omstandigheden en verwachtingen.
Volume: volume testing bepaalt hoe de AUT reageert / zich gedraagt bij grote(re) belasting: meer gebruikers, meer acties. Hier wordt ook gemonitord en gekeken naar CPU gebruik, Disk Usage, memory leaks, ..
Stress: Bij deze testing wordt de AUT buiten de ‘normale’ verwachtingen belast: zeer veel gebruikers en meerdere acties. De AUT krijgt meer belasting dan waar het voor bedoeld is. Het doel is om de stabiliteit van de AUT te meten: wanneer faalt de applicatie? En hoe (en wanneer) herstelt de AUT van deze stress testing.
Dit zijn de basis performantie testen en definities. Afhankelijk van de AUT, infrastructuur (Cloud), zijn variaties van performantie testen mogelijk. Daarnaast kunnen er ook reeds zeer vroeg in het ontwikkelingsproces van de AUT performantie uitgevoerd worden, waarbij het type en doel van de performantie testen telkens verschilt afhankelijk de fase waarin men zich bevindt. Een andere noodzakelijke fase na de uitvoering van de performantie testen, is de analyse van het resultaat (data en bevindingen). Voer eventueel dezelfde testen opnieuw uit met andere parameters om tot betere conclusies te komen. Hieruit volgen dan verbetervoorstellen voor verschillende, non-functional aspecten van de AUT.
AANBIEDERS VAN SCHOOLPLATFORMEN ZITTEN VANDAAG WELLICHT MET VEEL KOPZORGEN. ANDERZIJDS, HEBBEN ZE GISTEREN BIJZONDER WAARDEVOLLE FEEDBACK OVER HUN APPLICATIE GEKREGEN. WIE WIL ER NIET ZO’N LIVE-LOAD TEST?
Laat je bijstaan door een professional
Brightest kan bedrijven zoals deze bijstaan bij het opzetten en uitvoeren van hun performantie testen. In het verleden hielpen we o.a. reeds een retailer met het opzetten van testen voor hun webplatform en online shop. Retailers hebben vaker (aangekondigde) piekmomenten zoals de kerstperiode, Black Friday, etc. Tevens zetten we sterk in op R&D en de uitbouw van onze Performance Testing Service, zo zijn er sinds kort 5 van onze consultants Octoperf Certified. Wil je meer te weten komen over wat performantie testen voor jou en je organisatie kan betekenen, contacteer ons dan op units@brightest.be of sales@brightest.be.
Written by Koen De Wilde
De evolutie/voordelen van testautomatisatie en de rol van de test engineer hierin.
Hoe kan je snelheid verhogen in je SDLC (Software Development Life Cycle) zonder in te boeten aan kwaliteit? Testautomatisatie kan hiervoor een oplossing zijn, tenminste als het op een correcte manier wordt toegepast.
Drie redenen waarom jij daar als Brightest-sollicitant baat bij hebt.
Een recruiter met software testing verleden. Drie redenen waarom jij daar als Brightest-sollicitant baat bij hebt.
Opening nieuw kantoor in Gent
Software testspecialist Brightest opent een kantoor in Gent. Na Antwerpen en Genk is dit het derde regionale kantoor voor Brightest. Doel is om op een jaar tijd 20 nieuwe medewerkers aan te trekken en de positie in Oost- en West-Vlaanderen te verstevigen.
Katalon Studio Enterprise: “Selenium with a GUI on top of it”
Katalon Studio Enterprise, KSE, is an automation tool developed by Katalon Inc. This article will mainly be focused on Web Automation. It will briefly handle the pros and cons of using Katalon in a web environment. Although, the tool also offers options to automate Mobile, API’s and Desktop applications.
Wa was miech da!
1 jaar Brightest Oost, 1 jaar vol eerste keren, 1 jaar mogen samenwerken met gedreven en getalenteerde mensen, een jaar waarvan we hopen dat er nog vele volgen!
Internet of things: testing MQTT applications
A closer look at how testing tools, Cypress & Postman, enable the developer-tester collaboration and help in delivering a quality product.
Why collaboration in testing tools help us deliver a quality product.
A closer look at how testing tools, Cypress & Postman, enable the developer-tester collaboration and help in delivering a quality product.
Investing in learning pays off
It may be hard to believe, but there are still people who are sceptical about investment in learning. Let us not treat them as ignorant. Instead, let us bring them into the light and help them to see the value that continued learning can bring to themselves and their organisation.