Performantie testen
Eenvoudig uitgelegd
24
Apr
Posted by: Eva
Category:
Business, Performance testing, Test automation
No Comments
De Kampioenenviering van je favoriete voetbalploeg
Situatie
Je favoriete voetbalploeg speelt op de laatste dag van het seizoen, op eigen veld, kampioen.
Probleem
2 uur na de wedstrijd, in volle viering, blijkt het bier op te zijn. Er was een inschatting gebeurd hoeveel bier er zou gedronken kunnen worden, op basis van eerdere overwinningen in de club.
Impact
Misnoegde feestvierders: “Dat hadden ze nu toch kunnen voorzien!?” De club belt in allerijl naar omliggende cafés om extra vaten bier aan te voeren.
Nood
Betere en realistischere inschatting van wat het drank verbruik bij een kampioenenviering zou kunnen zijn. Eventueel een afspraak met de brouwer maken om bij de laatste wedstrijd van het seizoen stand-by te staan indien er extra drank zou nodig zijn
Péage in Frankrijk in volle zomerspits
Situatie
Een ‘zwart weekend’ op de baan door een combinatie tussen vertrekkend en aankomend vakantieverkeer. In Frankrijk slibben de banen dicht en bij de péage punten is het ellendig lang aanschuiven.
Probleem
Het wegennet kan al het extra vakantieverkeer onvoldoende aan en aan de tolhuisjes worden biljetten, muntjes en Cartes Bancaires zo snel als mogelijk uitgewisseld of ingevoerd in ruil voor vrije doorgang voor de volgende 200km.
Impact
Misnoegde reizigers: “Dat hadden ze nu toch kunnen voorzien!?” Vakantiesfeer in de auto zakt onder 0. Sluipverkeer over de Routes Nationales (verplaatsing van het probleem).
Nood
Betere spreiding van zomervakantie periodes over Europa (reeds deels in voege), Extra baanvakken (waar mogelijk een spitsstrook) en een vlottere doorstroming aan de péage punten.
Online schoolplatform in tijden van Corona-crisis
Situatie
Leerplatformen die als extra hulpmiddel worden gebruikt naast het dagelijkse schoolwezen worden plots het hart van het onderwijsorgaan om documenten, fimpjes, powerpoints en oefeningen aan te bieden.
Probleem
Te veel simultane bewegingen, gebruikers en acties op deze platformen zorgen voor langere responstijden en time-outs (ervaring: “de website werkt niet”).
Impact
Misnoegde ouders, leerkrachten en leerlingen: “Dat hadden ze nu toch kunnen voorzien!?”
Nood
Betere en realistischere inschatting van wat het online gebruik bij een (Corona-) crisis zou kunnen zijn. Eventueel een afspraak met de Cloud Provider om de capaciteit uit te breiden wanneer nodig.
Voor deze 3 voorbeelden, kan je het normaal- (load), hoog- (volume) en extreem hoog (stress) verbruik/gebruik inschatten. Laat ons er ook van uit gaan, dat functioneel alles goed werkt:
- Bij de voetbalploeg werken alle tapinstallaties en frigo’s, en zijn er voldoende werkkrachten
- Bij de péage punten zijn er geen wegenwerken en alle tolhuisje functioneren naar behoren
- Op de schoolplatformen werken alle functionaliteiten zoals het hoort
Waar gaat het dan precies fout?
Als je het mij vraagt, bij de inschatting van het meer dan normale gebruik / verbruik, m.a.w. volume en stress. Aangezien we nu toch geen kampioenenviering zullen bijwonen en waarschijnlijk ook niet naar Frankrijk zullen reizen deze zomer, stel ik voor dat we eens even inzoomen op de schoolplatformen. Een probleem waar sommigen onder jullie afgelopen dagen misschien wél mee te maken kregen.
In het geval van de schoolplatformen was het maximale gebruik van de laatste dagen wellicht nauwelijks voorspelbaar toen het schooljaar van start ging. Ik vermoed dan ook dat er in het verleden alleen testen gebeurd zijn met een lagere load/belasting en dat er nu, door de coronacrisis, dus nieuwe parameters ter beschikking zijn om de performantie opnieuw uit te voeren.
Wat is performantie testen?
Performantie testen bestaan voor een groot deel uit het inschatten wat een normaal, hoog en maximaal gebruik van een applicatie is en welke reactietijden daarbij kunnen worden verwacht. Met reactietijden bedoelen we de tijd nodig om een handeling/transactie uit te voeren in de applicatie waarbinnen het OK blijft voor een gebruiker. Als een gebruiker te lang moet wachten krijgt hij/zij het gevoel dat de applicatie niet meer correct werkt. Deze testen maken deel uit van de non-functionele vereisten van een applicatie of systeem, m.a.w. niet WAT een applicatie doet (functionele vereisten), maar HOE het dit doet.
Performantie testen bestaan voor een groot deel uit het inschatten wat een normaal, hoog en maximaal gebruik van een applicatie is en welke reactietijden daarbij kunnen worden verwacht.
Iedereen herinnert zich nog wel dat, ruim een decennium geleden, websites voor concerttickets steevast onderuit gingen wanneer populaire bands hun tournee aankondigden. Deze websites hebben sindsdien geleerd om hun technische infrastructuur aan te passen aan de (opgemeten) load op hun applicaties. Door te meten en bij te sturen, werken nu vrijwel al deze concertwebsites vrij performant en wacht je bv. keurig in een virtuele rij tot het jouw beurt is.
Deze websites hebben het geluk om behoorlijk veel iteraties te hebben van maximale load op hun systeem. Want telkens een wereldvedette een concert aankondigt, is er een nieuwe maximale load / stress meting op hun systeem (= monitoring in een live omgeving). Hierdoor kunnen zij telkens bijsturen. Indien je deze luxe niet hebt, zoals bij de schoolplatformen, is het beter om preventief te gaan testen en inschatting of voorspellingen te maken (= performantie testing in een test omgeving). Hierbij benadert de test omgeving best zoveel mogelijk de uiteindelijke live omgeving.
Simulaties uitvoeren op de AUT
Door automatische test scripts te finetunen, aan te passen en te parametriseren, kunnen verschillende load simulaties uitgevoerd worden op de AUT (Application Under Test). Tijdens deze testen kunnen er verschillende types testen gesimuleerd worden:
Load: meten van de performantie van de AUT tijdens het verhogen van de load op de applicatie (meer concurrent gebruikers en/of (trans)acties). De AUT wordt gemonitord op response tijden, geheugengebruik etc. Alle actie / load ligt hier binnen de normale omstandigheden en verwachtingen.
Volume: volume testing bepaalt hoe de AUT reageert / zich gedraagt bij grote(re) belasting: meer gebruikers, meer acties. Hier wordt ook gemonitord en gekeken naar CPU gebruik, Disk Usage, memory leaks, ..
Stress: Bij deze testing wordt de AUT buiten de ‘normale’ verwachtingen belast: zeer veel gebruikers en meerdere acties. De AUT krijgt meer belasting dan waar het voor bedoeld is. Het doel is om de stabiliteit van de AUT te meten: wanneer faalt de applicatie? En hoe (en wanneer) herstelt de AUT van deze stress testing.
Dit zijn de basis performantie testen en definities. Afhankelijk van de AUT, infrastructuur (Cloud), zijn variaties van performantie testen mogelijk. Daarnaast kunnen er ook reeds zeer vroeg in het ontwikkelingsproces van de AUT performantie uitgevoerd worden, waarbij het type en doel van de performantie testen telkens verschilt afhankelijk de fase waarin men zich bevindt. Een andere noodzakelijke fase na de uitvoering van de performantie testen, is de analyse van het resultaat (data en bevindingen). Voer eventueel dezelfde testen opnieuw uit met andere parameters om tot betere conclusies te komen. Hieruit volgen dan verbetervoorstellen voor verschillende, non-functional aspecten van de AUT.
AANBIEDERS VAN SCHOOLPLATFORMEN ZITTEN VANDAAG WELLICHT MET VEEL KOPZORGEN. ANDERZIJDS, HEBBEN ZE GISTEREN BIJZONDER WAARDEVOLLE FEEDBACK OVER HUN APPLICATIE GEKREGEN. WIE WIL ER NIET ZO’N LIVE-LOAD TEST?
Laat je bijstaan door een professional
Brightest kan bedrijven zoals deze bijstaan bij het opzetten en uitvoeren van hun performantie testen. In het verleden hielpen we o.a. reeds een retailer met het opzetten van testen voor hun webplatform en online shop. Retailers hebben vaker (aangekondigde) piekmomenten zoals de kerstperiode, Black Friday, etc. Tevens zetten we sterk in op R&D en de uitbouw van onze Performance Testing Service, zo zijn er sinds kort 5 van onze consultants Octoperf Certified. Wil je meer te weten komen over wat performantie testen voor jou en je organisatie kan betekenen, contacteer ons dan op units@brightest.be of sales@brightest.be.
Written by Koen De Wilde
Internet of things: testing MQTT applications
A closer look at how testing tools, Cypress & Postman, enable the developer-tester collaboration and help in delivering a quality product.
Why collaboration in testing tools help us deliver a quality product.
A closer look at how testing tools, Cypress & Postman, enable the developer-tester collaboration and help in delivering a quality product.
Investing in learning pays off
It may be hard to believe, but there are still people who are sceptical about investment in learning. Let us not treat them as ignorant. Instead, let us bring them into the light and help them to see the value that continued learning can bring to themselves and their organisation.
How to make test automation work for you
Today’s growing demand to deliver quality software faster requires organizations to search for solutions in Agile, Continuous Integration and DevOps methodologies. Test automation is an essential part of this process, but in a lot of cases testing, manual and automated, often becomes a bottleneck in this process. The reasons can be various, but very often the problem begins with the choice of tooling to support this process. So how can we tackle this? How can we avoid test automation becoming a bottleneck for the organization?
Laatste loodjes
December is voor mij de ‘reset’ knop van het jaar. Alhoewel het nog erg koud is, worden de dagen stilaan weer langer, de oude en zwakke takken worden uit de bomen gewaaid en maken plaats voor nieuwe knoppen.
White hat performance testing in corona times
“White hat” and “performance testing”, the specific use case of the Belgian Coronalert app.
Wat hebben lekker eten bereiden, een bedrijf leiden en marathons lopen met elkaar gemeen?
Op World Quality Day staan we bij Brightest eens extra stil bij dat belangrijke begrip. Kwaliteit kan je in vele vormen vinden: denk maar aan een efficiënte dienstverlening, een topproduct of een performante website. Kwaliteit zit in vele aspecten in het leven. Dat is het mooie eraan. Lees maar even mee.
DevTools must-have knowledge for a tester
Since testing is becoming more and more technical, these developer tools are not only interesting for developers, but also for testers. In this post we will be sharing some DevTools features which might benefit you as a tester. In the beginning the DevTools UI might be overwhelming, but if you take your time to get familiar with some of the tabs, you will discover that it will definitely boost your productivity.