Hvor moden er web-branchen?

Når man som kunde i dag bestiller en opgave hos et "web-bureau" er det ret fundamentalt at test og fordeling af testopgaven i forbindelse med leverance fra leverandør til kunde er forventningsafstemt.

Min generelle forventning til fordeling af opgaver og ansvar er kort ridset op herunder, hvilket jeg opfatter som nogenlunde normalt for softwarebranchen (jeg kender ikke specielt meget til webbranchens modenhed, men jeg forventer at den branche er passende moden efter 10 år med stor vækst og indtjening ?).

Leverandørens test-ansvar:

• Test af samtlige implementerede funktioner. Funktioner som ikke er testede, skal ikke inkluderes. Funktioner som er inkluderet, skal også være testede.
• Test af samtlige corner-cases, som f.eks. hvad sker der med tilmelding af deltager nummer 19, 20 og 21 hvis der er sat et limit på 20 deltagere på et arrangement i kalenderen.
• Load-tests, hvor systemet stresses. Både med store trafikmængder, store data-størrelser, store antal (f.eks. mange tilmeldte i et arrangementssystem). Det sikres at systemet er robust og har fornuftige svartider med passende god margin langt ud over det forventede behov her og nu.
• Sikkerhedstests, hvor systemet i fornødent omfang testes for forskellige sikkerhedsbrister og det sikres at de kan modstås på passende vis.
• Test af at samtlige tidligere rapporterede cases er håndteret passsende. En fejl som er opdaget en gang, vil ofte vise sig igen - og gøre kunden træt i ansigtet.
• Test skal gentages hver gang koden ændres, da selv en lille ændring et sted kan påvirke funktioner i hele systemet (det er derfor at automatiserede tests er sædvanlig praksis i store dele af softwarebranchen).

Kundens test-ansvar:

• Stikprøvekontrol, for at sikre at leverandøren har gennemført test på et fornuftigt niveau. Om nødvendigt må leverandøren bedes om at genteste eller udvidde tests, hvis stikprøvekontrollen hurtigt afslører banale fejl.
• Efter systemet er leveret og sat i "prøve-drift", har kunden ansvar for at teste systemet i daglig drift og have passende back-up procedurer så tab af data og arbejde minimeres og leverandøren har mulighed for at rette evt. fejl.

Og så til spørgsmålet: Stemmer det med den generelle forventning til fordeling af arbejdsopgaver og ansvar i webbranchen når en kunde bestiller en opgave hos en leverandør? Eller hvordan er niveauet i dag?

Jeg ville forvente at ovenstående er ting en leverandør er opmærksom på når en opgave skal udføres for en kunde, det er jo en væsentlig del af afleveringsproducerene at man gennemgår systemet for fejl og mangler (ofte sammen med kunden) for at sikre sig at man er enig med kunden om at man har leveret at fungerende produkt, om det så er et hus man har fået bygget, eller en avanceret webshop med 58 forskellige bestillingsmuligheder.

Men hvis man vender den om, så er der "web-bureauer" der udbyder websites til få tusinde kroner eller endda endnu lavere, om der er tid til at gennemteste tingene på sådan et budget skal jeg lade være usagt.

Jeg vil tro at vi nu og i fremtiden vil få skilt fårene fra bukkene, hvor de der overlever er dem der giver kunden den bedste helhedsoplevelse omkring produktion, levering og eventuel drift.

Der vil dog altid være et marked for de helt små fritids-web-bureauer, men det er så nok heller ikke helt samme kundesegment som de større de sigter imod.

Det er nogle gode punkter du fremstiller. Som der allerede er gjort opmærksom på, er der en del, der tilbyder webudvikling enormt billigt. Men selv i den "dyre" ende af branchen er det stadig langt fra sikkert, hvad man får for pengene.

Du skriver: "Test af samtlige implementerede funktioner" - men der er meget langt fra, at en udvikler på et tidspunkt har testet at en given funktionalitet til, at der er grundige automatiserede tests af funktionen, som sikrer at den virker og bliver ved med at virke, selv efter at systemet er blevet bøjet i nye retninger. Men det ved du jo allerede :-)

Jeg har oplevet, at det kan være svært at få kunder til at forstå, at det er en rigtig god ide at bruge tid og penge på både manuelle og automatiserede tests. Og at få kunder til at forstå, at det overhovedet er nødvendigt. Jeg er mange gange blevet mødt med en forventning om, at selvfølgelig virker koden da bare når man har skrevet den - hvorfor skulle det dog være nødvendigt at bruge penge på automatiserede tests?

Derfor tvivler jeg på, at nogen virksomheder kan påstå, at der altid er udført nødvendige og udtømmende tests på alle deres leverancer. Hvis kunden hellere vil bruge penge på flashy features end solidt arbejde - på trods af vejledning og advarsler fra leverandøren - så er der ikke så meget at gøre.

Jeg har begået en del desktop udvikling, men selvfølgelig meget mere web. Og det er på ingen måde, mit indtryk at webudvikling er hverken være eller bedre end resten af it udviklingsbranchen. Derimod er der er en klar sammenhæng imellem budget og kvalitet, hvilket typisk også gør at der tests mere.

Iøvrigt at det spændende at se at unittests i høj grad er på vej frem, mens formel verifikation forbliver ukendt for langt de fleste.

Som Mikkel skriver -

Der er et marked for kvalitetssikret software, hvor leverandøren gøres økonomisk ansvarlig hvis der er problemer, og der er et marked for hurtige opsætninger / tilpasninger af opensource løsninger.

Model ferrari, model suzuki

Til langt størstedelen af behovet er suzuki modellerne efter min opfattelse ganske udmærkede. F.eks. hobby-blogs, hobby-e-shops, forums osv. Open source løsningerne er efterhånden så gode og nemme at tilpasse / finde information om problemer på, at der sagtens kan laves noget fornuftigt til de flestes behov, for få penge.

Men er hjemmesiden en væsentlig del af virksomhedens eksistensgrundlag er det nok ca. det dummeste sted i verden at spare på kvalitet og skalerbarhed. Pris og kvalitet hænger bare ikke sammen i det marked efter min opfattelse - så er man ikke skarp til den slags, bør man klart søge samråd med nogen der er, eller spille et par leverandører ud mod hinanden og spørge til, hvordan deres test-procedurer udføres i praksis og evt. tage en reference på dem.

Jeg tror forskellen er at mange web projecter er relativt smaa sammenligned med 'almindelig' software udvikling, og at de derfor ikke har samme test harness og release procedure. Jeg vil mene at hvis dit budget til kode er lille(<50.000), saa vil du faa et bedre samlet website ved bare at fikse bugs efterhaanden som de kommer, og saa bare manualt teste resultatet. Med saa smaa projecter kan man faktisk overskuge hvilke dele der normalt bliver paavirket af en aendring.

Men hvis du taler udvikling af 'store' projecter udfoert af konsulet huse, saa bliver de normalt udviklet efter samme principper for test og release management som almindeligt software.

Og saa lige angaaende 'Sikkerhedstests'. Jeg har aldrig set en sikkerhedstest som kunne finde egentlige problemer i et i oevrigt ordentligt udviklet project. De to primaere sikkerheds problemer for webprojecter er sql injection og crossscript attacking, og begge dele er nemme at teste ved code review end egentlig software tests.

De sikkerheds problemer med stack overflow/mangling pointers som mange 'almindelige' software projecter har, findes ikke for web projecter da de normalt udvikles i sprog som specifict stopper den slags.

Det var i hvert fald ikke hensigten at mit indlæg kunne tolkes som om, at opensource løsningerne ikke var testede, det blev det så, så jeg må vel hellere redegøre :-)

Dét jeg mente var, at mange opensource systemer relativt hurtigt kan sættes op til en fornuftig løsning for rigtig manges behov. Dét der så ikke bliver testet er jo typisk hvor solid hostingen er til løsningen, og om der er særlige områder af koden, der kunne have været tilpasset bedre til den konkrete situation f.eks. ved installation af moduler til et opensource cms.