Situatie
Je favoriete voetbalploeg speelt op de laatste dag van het seizoen, op eigen veld, kampioen.
Probleem
2 uur na de wedstrijd, in volle viering, blijkt het bier op te zijn. Er was een inschatting gebeurd hoeveel bier er zou gedronken kunnen worden, op basis van eerdere overwinningen in de club.
Impact
Misnoegde feestvierders: “Dat hadden ze nu toch kunnen voorzien!?” De club belt in allerijl naar omliggende cafés om extra vaten bier aan te voeren.
Nood
Betere en realistischere inschatting van wat het drank verbruik bij een kampioenenviering zou kunnen zijn. Eventueel een afspraak met de brouwer maken om bij de laatste wedstrijd van het seizoen stand-by te staan indien er extra drank zou nodig zijn
Situatie
Een ‘zwart weekend’ op de baan door een combinatie tussen vertrekkend en aankomend vakantieverkeer. In Frankrijk slibben de banen dicht en bij de péage punten is het ellendig lang aanschuiven.
Probleem
Het wegennet kan al het extra vakantieverkeer onvoldoende aan en aan de tolhuisjes worden biljetten, muntjes en Cartes Bancaires zo snel als mogelijk uitgewisseld of ingevoerd in ruil voor vrije doorgang voor de volgende 200km.
Impact
Misnoegde reizigers: “Dat hadden ze nu toch kunnen voorzien!?” Vakantiesfeer in de auto zakt onder 0. Sluipverkeer over de Routes Nationales (verplaatsing van het probleem).
Nood
Betere spreiding van zomervakantie periodes over Europa (reeds deels in voege), Extra baanvakken (waar mogelijk een spitsstrook) en een vlottere doorstroming aan de péage punten.
Situatie
Leerplatformen die als extra hulpmiddel worden gebruikt naast het dagelijkse schoolwezen worden plots het hart van het onderwijsorgaan om documenten, fimpjes, powerpoints en oefeningen aan te bieden.
Probleem
Te veel simultane bewegingen, gebruikers en acties op deze platformen zorgen voor langere responstijden en time-outs (ervaring: “de website werkt niet”).
Impact
Misnoegde ouders, leerkrachten en leerlingen: “Dat hadden ze nu toch kunnen voorzien!?”
Nood
Betere en realistischere inschatting van wat het online gebruik bij een (Corona-) crisis zou kunnen zijn. Eventueel een afspraak met de Cloud Provider om de capaciteit uit te breiden wanneer nodig.
Voor deze 3 voorbeelden, kan je het normaal- (load), hoog- (volume) en extreem hoog (stress) verbruik/gebruik inschatten. Laat ons er ook van uit gaan, dat functioneel alles goed werkt:
Als je het mij vraagt, bij de inschatting van het meer dan normale gebruik / verbruik, m.a.w. volume en stress. Aangezien we nu toch geen kampioenenviering zullen bijwonen en waarschijnlijk ook niet naar Frankrijk zullen reizen deze zomer, stel ik voor dat we eens even inzoomen op de schoolplatformen. Een probleem waar sommigen onder jullie afgelopen dagen misschien wél mee te maken kregen.In het geval van de schoolplatformen was het maximale gebruik van de laatste dagen wellicht nauwelijks voorspelbaar toen het schooljaar van start ging. Ik vermoed dan ook dat er in het verleden alleen testen gebeurd zijn met een lagere load/belasting en dat er nu, door de coronacrisis, dus nieuwe parameters ter beschikking zijn om de performantie opnieuw uit te voeren.
Performantie testen bestaan voor een groot deel uit het inschatten wat een normaal, hoog en maximaal gebruik van een applicatie is en welke reactietijden daarbij kunnen worden verwacht. Met reactietijden bedoelen we de tijd nodig om een handeling/transactie uit te voeren in de applicatie waarbinnen het OK blijft voor een gebruiker. Als een gebruiker te lang moet wachten krijgt hij/zij het gevoel dat de applicatie niet meer correct werkt. Deze testen maken deel uit van de non-functionele vereisten van een applicatie of systeem, m.a.w. niet WAT een applicatie doet (functionele vereisten), maar HOE het dit doet.
Performantie testen bestaan voor een groot deel uit het inschatten wat een normaal, hoog en maximaal gebruik van een applicatie is en welke reactietijden daarbij kunnen worden verwacht.
Iedereen herinnert zich nog wel dat, ruim een decennium geleden, websites voor concerttickets steevast onderuit gingen wanneer populaire bands hun tournee aankondigden. Deze websites hebben sindsdien geleerd om hun technische infrastructuur aan te passen aan de (opgemeten) load op hun applicaties. Door te meten en bij te sturen, werken nu vrijwel al deze concertwebsites vrij performant en wacht je bv. keurig in een virtuele rij tot het jouw beurt is.
Deze websites hebben het geluk om behoorlijk veel iteraties te hebben van maximale load op hun systeem. Want telkens een wereldvedette een concert aankondigt, is er een nieuwe maximale load / stress meting op hun systeem (= monitoring in een live omgeving). Hierdoor kunnen zij telkens bijsturen. Indien je deze luxe niet hebt, zoals bij de schoolplatformen, is het beter om preventief te gaan testen en inschatting of voorspellingen te maken (= performantie testing in een test omgeving). Hierbij benadert de test omgeving best zoveel mogelijk de uiteindelijke live omgeving.
Door automatische test scripts te finetunen, aan te passen en te parametriseren, kunnen verschillende load simulaties uitgevoerd worden op de AUT (Application Under Test). Tijdens deze testen kunnen er verschillende types testen gesimuleerd worden:
Load: meten van de performantie van de AUT tijdens het verhogen van de load op de applicatie (meer concurrent gebruikers en/of (trans)acties). De AUT wordt gemonitord op response tijden, geheugengebruik etc. Alle actie / load ligt hier binnen de normale omstandigheden en verwachtingen.
Volume: volume testing bepaalt hoe de AUT reageert / zich gedraagt bij grote(re) belasting: meer gebruikers, meer acties. Hier wordt ook gemonitord en gekeken naar CPU gebruik, Disk Usage, memory leaks, ..
Stress: Bij deze testing wordt de AUT buiten de ‘normale’ verwachtingen belast: zeer veel gebruikers en meerdere acties. De AUT krijgt meer belasting dan waar het voor bedoeld is. Het doel is om de stabiliteit van de AUT te meten: wanneer faalt de applicatie? En hoe (en wanneer) herstelt de AUT van deze stress testing.
Dit zijn de basis performantie testen en definities. Afhankelijk van de AUT, infrastructuur (Cloud), zijn variaties van performantie testen mogelijk. Daarnaast kunnen er ook reeds zeer vroeg in het ontwikkelingsproces van de AUT performantie uitgevoerd worden, waarbij het type en doel van de performantie testen telkens verschilt afhankelijk de fase waarin men zich bevindt. Een andere noodzakelijke fase na de uitvoering van de performantie testen, is de analyse van het resultaat (data en bevindingen). Voer eventueel dezelfde testen opnieuw uit met andere parameters om tot betere conclusies te komen. Hieruit volgen dan verbetervoorstellen voor verschillende, non-functional aspecten van de AUT.
AANBIEDERS VAN SCHOOLPLATFORMEN ZITTEN VANDAAG WELLICHT MET VEEL KOPZORGEN. ANDERZIJDS, HEBBEN ZE GISTEREN BIJZONDER WAARDEVOLLE FEEDBACK OVER HUN APPLICATIE GEKREGEN. WIE WIL ER NIET ZO’N LIVE-LOAD TEST?
Brightest kan bedrijven zoals deze bijstaan bij het opzetten en uitvoeren van hun performantie testen. In het verleden hielpen we o.a. reeds een retailer met het opzetten van testen voor hun webplatform en online shop. Retailers hebben vaker (aangekondigde) piekmomenten zoals de kerstperiode, Black Friday, etc. Tevens zetten we sterk in op R&D en de uitbouw van onze Performance Testing Service, zo zijn er sinds kort 5 van onze consultants Octoperf Certified. Wil je meer te weten komen over wat performantie testen voor jou en je organisatie kan betekenen, contacteer ons dan op units@brightest.be of sales@brightest.be.
Written by Koen De Wilde
Een term die de laatste tijd nogal snel in de mond wordt genomen is een “Test Automation Framework”, maar wat is het nu eigenlijk een Test Automation Framework? Waarom gebruiken we dit? Wat zijn de voordelen, en zijn er ook nadelen aan verbonden?
Playwright by Microsoft is the newest addition to the Headless Browser Testing frameworks. It is built by the same team which created Puppeteer, the headless browser testing framework for Google Chrome.
Agile allows you to deliver new features faster and more efficiently. But how can we assure the quality of those new features?
Met dank aan onze fantastische #brightcrew mogen we ons sinds maart officieel a Great Place To Work noemen. Oh yes, We’re Certified! En daar zijn we geweldig trots op. #aimhigh
Automation frameworks are gaining popularity as a solution for automating complex applications. One of the main problems using a scripted automation framework is maintenance. The Page Object Model (POM) creates a layer of abstraction between the automated tests and the page under test.
Op 1 april vierden we de tweede verjaardag van Brightest East, in mei is het feest in Brightest West voor hun eerste levensjaar. Tijd voor een interview met de regionale managers Thomas Peeters en Stef Geeurickx van Brightest West en David Vandingenen en Kevin Pieters van Brightest East.
Since mid-January Belgian Friday night equals “masked singer-night”; a tv-show where celebrities are hidden inside beautiful costumes, the audience needs to guess who’s inside and every week one “character” is unmasked. This made me think, what about the character “software tester”? The name implies a clear role, but reality is different. A software tester has many roles hidden under its mask, let us explore!
If we compare the OWASP 2017 top 10 security risks with the one of 2021, we see that broken access control went from the 5th to the 1st place. Surely a good reason to see what broken access control includes and how to prevent access control anomalies.