Hjælp til salg (Ikke internet)

Svar: Hvor moden er web-branchen?

Lundsby — Thu, 07 May 2009 10:54:01 GMT

Jeg synes folk taler meget om test, som var det den hellige gral, men det er lidt nemt. For det interessante er jo graden af test, der bliver udført. Denne fornuftige grad efterhænger af projektet, og er derfor svært at genereliserer over. Det er også derfor at man fraråder, at lægge for meget i metrikker som CodeCoverage.

I bund og grund er test også bare en dårlig erstatning af formel verifikation, lige meget hvor meget man tester så kan man aldrig vide at et system virker som det skal.

Derfor synes jeg, at man kan konkluderer at hele it-branchen(med undtagelse af rumfart, luftfart, forsvar, etc.), har en lang vej endnu før den kan betragtes som umoden i forhold til at kundens software bare virker som det skal.

Svar: Hvor moden er web-branchen?

Jan Agermose — Thu, 07 May 2009 10:06:01 GMT

Jeg kan godt følge at vi alle skal tale prisen op og forklare hvorfor man ikke kan levere noget fornuftigt til en håndfuld 1000 :)

Når der findes en række web-firmaer, der sælger til måske 5000,- eller abb. aftaler, så er det jo et design de sælger på en standard CMS platform. Jeg har ikke set en eneste, der tilbyder specialudviklede funktioner, tilrettelse eller lign. i det prisleje og derfor er det fuldstændig irrelevant at bringe dem ind i snakken - ud over selvfølgelig muligheden for lige igen at sparke til de leverandører og forklare omverdenen at man skal holde sig fra dem - jeg kender dog flere store danske leverandører af ganske udemærkede løsninger i det prisniveau :)

Mht. til funktionstest så kan jeg kun følge at det skal der være styr på - men den er tovejs. "Du" indgår en aftale med et firma om levering - og i den aftale forpligter man sig til hvad der skal laves og hvornår det er færdigt (ikke tidsmæssigt men funktionsmæssigt "hvornår").

Det er færdigt, når den og den test er opfyldt. Det er den bedste og mest klare måde for alle at forklare hvad funktionerne skal kunne - tests.

Det holder i hvertfald ingen steder at bede udviklerfirmaet om selv at være ansvarlig og komme op med et fornuftigt test setup. I eksemplet her er det måske oplagt at har man noget, hvor 20 skal kunne tilmelde sig, så er det interessant hvad der sker med nummer 21 - men det er selv i det simple eksempel vel ikke webfirmaet, der på egen hånd og drift skal definere hvad der skal ske? Så ikke alene har men defineret hvad der skal ske men dermed også defineret en testcase på det og en afleveringstest.

Hvis det ikke er defineret, så er det ikke test eller lavet - det må være udgangspunktet for en hver aftale om levering af "noget".

Problemet med umodne indkøbere er mindst lige så stort som umodne leverandører :) Hvis jeg må provokere lidt... :)

Svar: Hvor moden er web-branchen?

Allan Hansen — Wed, 06 May 2009 17:03:44 GMT

Det var i hvert fald ikke hensigten at mit indlæg kunne tolkes som om, at opensource løsningerne ikke var testede, det blev det så, så jeg må vel hellere redegøre :-)

Dét jeg mente var, at mange opensource systemer relativt hurtigt kan sættes op til en fornuftig løsning for rigtig manges behov. Dét der så ikke bliver testet er jo typisk hvor solid hostingen er til løsningen, og om der er særlige områder af koden, der kunne have været tilpasset bedre til den konkrete situation f.eks. ved installation af moduler til et opensource cms.

Svar: Hvor moden er web-branchen?

Martin T — Wed, 06 May 2009 17:03:25 GMT

Jeg tror forskellen er at mange web projecter er relativt smaa sammenligned med 'almindelig' software udvikling, og at de derfor ikke har samme test harness og release procedure. Jeg vil mene at hvis dit budget til kode er lille(<50.000), saa vil du faa et bedre samlet website ved bare at fikse bugs efterhaanden som de kommer, og saa bare manualt teste resultatet. Med saa smaa projecter kan man faktisk overskuge hvilke dele der normalt bliver paavirket af en aendring.

Men hvis du taler udvikling af 'store' projecter udfoert af konsulet huse, saa bliver de normalt udviklet efter samme principper for test og release management som almindeligt software.

Og saa lige angaaende 'Sikkerhedstests'. Jeg har aldrig set en sikkerhedstest som kunne finde egentlige problemer i et i oevrigt ordentligt udviklet project. De to primaere sikkerheds problemer for webprojecter er sql injection og crossscript attacking, og begge dele er nemme at teste ved code review end egentlig software tests.

De sikkerheds problemer med stack overflow/mangling pointers som mange 'almindelige' software projecter har, findes ikke for web projecter da de normalt udvikles i sprog som specifict stopper den slags.

Svar: Hvor moden er web-branchen?

Ronnikc — Wed, 06 May 2009 16:36:58 GMT

Om det er open source eller ej har _intet_ med noget som helst at gøre - tværtimod så er de fleste store open source projekter testet og afprøvet i et omfang som _langt_ overstiger hvad de fleste closed source systemer er udsat for i hele deres levetid. Det skyldes naturligvis meget enkelt, at der er op til i 10.000 eller 100.000 vis flere brugere og folk, som arbejder med systemerne og derfor gennemgås softwaren på kryds og tværs. Derudover så findes der jo absolut også kommerciel open source - så det handler absolut ikke om det.

Det handler efter min bedste overbevisning nok snarer om at kunderne er indstillet på at betale for det.

Hvis man gerne have gennemgribende test, dokumentation, undervisning og andre lignende elementer så skal der naturligtvis være plads til det på budettet - Og lige præcist her er der mange projekter som er for små til at det er rentabelt at afsætte midlerne til det eller kunden simplethen ikke finder det værdiskabende i forhold til applikationen af den pågældende software. Kunden ønsker altså tit en billigere projektering hvor der relativt set opnås mere "value for money" som kunden direkte måler det og så vil kunden typisk også selv indgå aktivt i test og afrapportering.

Skalerbarhed har nødvendigvis heller ikke noget med test at gøre - med mindre at softwaren netop er tiltænkt at kunne skalleres op - for nogle virksomheder er det altså ikke økonomisk rentabelt at få lavet software som kan trække 1 million simultane brugere når de i snit har 7.

så uanset hvad så handler det, som vi jo hurtigt kan blive enige om, at der skal være et naturligt forhold imellem de afsatte midler til testfasen og det afkast som kunden får ud af test fasen - ellers er det altså ikke en naturlov at der skal testes på alle projekter.

Test for testens skyld alene er ikke meningsfyldt.

Svar: Hvor moden er web-branchen?

Allan Hansen — Wed, 06 May 2009 16:17:46 GMT

Som Mikkel skriver -

Der er et marked for kvalitetssikret software, hvor leverandøren gøres økonomisk ansvarlig hvis der er problemer, og der er et marked for hurtige opsætninger / tilpasninger af opensource løsninger.

Model ferrari, model suzuki

Til langt størstedelen af behovet er suzuki modellerne efter min opfattelse ganske udmærkede. F.eks. hobby-blogs, hobby-e-shops, forums osv. Open source løsningerne er efterhånden så gode og nemme at tilpasse / finde information om problemer på, at der sagtens kan laves noget fornuftigt til de flestes behov, for få penge.

Men er hjemmesiden en væsentlig del af virksomhedens eksistensgrundlag er det nok ca. det dummeste sted i verden at spare på kvalitet og skalerbarhed. Pris og kvalitet hænger bare ikke sammen i det marked efter min opfattelse - så er man ikke skarp til den slags, bør man klart søge samråd med nogen der er, eller spille et par leverandører ud mod hinanden og spørge til, hvordan deres test-procedurer udføres i praksis og evt. tage en reference på dem.

Svar: Hvor moden er web-branchen?

Lundsby — Wed, 06 May 2009 15:57:18 GMT

Jeg har begået en del desktop udvikling, men selvfølgelig meget mere web. Og det er på ingen måde, mit indtryk at webudvikling er hverken være eller bedre end resten af it udviklingsbranchen. Derimod er der er en klar sammenhæng imellem budget og kvalitet, hvilket typisk også gør at der tests mere.

Iøvrigt at det spændende at se at unittests i høj grad er på vej frem, mens formel verifikation forbliver ukendt for langt de fleste.

Svar: Hvor moden er web-branchen?

Anonymous — Wed, 06 May 2009 14:59:53 GMT

Jacob Atzen:
Jeg har oplevet, at det kan være svært at få kunder til at forstå, at det er en rigtig god ide at bruge tid og penge på både manuelle og automatiserede tests. Og at få kunder til at forstå, at det overhovedet er nødvendigt. Jeg er mange gange blevet mødt med en forventning om, at selvfølgelig virker koden da bare når man har skrevet den - hvorfor skulle det dog være nødvendigt at bruge penge på automatiserede tests?

Det her er et meget svært område. For hvorfor skal kunden betale ekstra for automatiserede tests. De forventer jo rent faktisk at udviklerteamet udfører et korrekt arbejde.
Hvorfor skal en person som får bygget et hus, bruge ekstra penge på at teste om huset rent faktisk er i orden. Nææh nej. Dette er udviklerteamets ansvar.
Når det er sagt, skal man fuldstændigt glemme at nævne automatiserede tests for kunden, og bare give dem en pris hvor disse tests er inkluderede i prisen.

Svar: Hvor moden er web-branchen?

Jacob Atzen — Wed, 06 May 2009 14:47:34 GMT

Det er nogle gode punkter du fremstiller. Som der allerede er gjort opmærksom på, er der en del, der tilbyder webudvikling enormt billigt. Men selv i den "dyre" ende af branchen er det stadig langt fra sikkert, hvad man får for pengene.

Du skriver: "Test af samtlige implementerede funktioner" - men der er meget langt fra, at en udvikler på et tidspunkt har testet at en given funktionalitet til, at der er grundige automatiserede tests af funktionen, som sikrer at den virker og bliver ved med at virke, selv efter at systemet er blevet bøjet i nye retninger. Men det ved du jo allerede :-)

Jeg har oplevet, at det kan være svært at få kunder til at forstå, at det er en rigtig god ide at bruge tid og penge på både manuelle og automatiserede tests. Og at få kunder til at forstå, at det overhovedet er nødvendigt. Jeg er mange gange blevet mødt med en forventning om, at selvfølgelig virker koden da bare når man har skrevet den - hvorfor skulle det dog være nødvendigt at bruge penge på automatiserede tests?

Derfor tvivler jeg på, at nogen virksomheder kan påstå, at der altid er udført nødvendige og udtømmende tests på alle deres leverancer. Hvis kunden hellere vil bruge penge på flashy features end solidt arbejde - på trods af vejledning og advarsler fra leverandøren - så er der ikke så meget at gøre.

Svar: Hvor moden er web-branchen?

Anders Christensen — Wed, 06 May 2009 13:37:11 GMT

Jeg ville forvente at ovenstående er ting en leverandør er opmærksom på når en opgave skal udføres for en kunde, det er jo en væsentlig del af afleveringsproducerene at man gennemgår systemet for fejl og mangler (ofte sammen med kunden) for at sikre sig at man er enig med kunden om at man har leveret at fungerende produkt, om det så er et hus man har fået bygget, eller en avanceret webshop med 58 forskellige bestillingsmuligheder.

Men hvis man vender den om, så er der "web-bureauer" der udbyder websites til få tusinde kroner eller endda endnu lavere, om der er tid til at gennemteste tingene på sådan et budget skal jeg lade være usagt.

Jeg vil tro at vi nu og i fremtiden vil få skilt fårene fra bukkene, hvor de der overlever er dem der giver kunden den bedste helhedsoplevelse omkring produktion, levering og eventuel drift.

Der vil dog altid være et marked for de helt små fritids-web-bureauer, men det er så nok heller ikke helt samme kundesegment som de større de sigter imod.

Svar: Hvor moden er web-branchen?

Mikkel Mikjær Christensen — Wed, 06 May 2009 13:36:52 GMT

Der findes to webbrancher i DK ... og tillige dertilhørende markeder ...

der findes dem hvor en hjemmeside skal koste omkring 3-5.000kr ... og samtidig skal kunne _alt_

Så er der den mere seriøse branche ... hvor leverandøren faktisk kan lave af det han leverer.

Svarene på dine spørgsmål afhænger 100% af hvor du stiller dem :)

Hvor moden er web-branchen?

sfo — Wed, 06 May 2009 13:28:57 GMT

Når man som kunde i dag bestiller en opgave hos et "web-bureau" er det ret fundamentalt at test og fordeling af testopgaven i forbindelse med leverance fra leverandør til kunde er forventningsafstemt.

Min generelle forventning til fordeling af opgaver og ansvar er kort ridset op herunder, hvilket jeg opfatter som nogenlunde normalt for softwarebranchen (jeg kender ikke specielt meget til webbranchens modenhed, men jeg forventer at den branche er passende moden efter 10 år med stor vækst og indtjening ?).

Leverandørens test-ansvar:

Test af samtlige implementerede funktioner. Funktioner som ikke er testede, skal ikke inkluderes. Funktioner som er inkluderet, skal også være testede.
Test af samtlige corner-cases, som f.eks. hvad sker der med tilmelding af deltager nummer 19, 20 og 21 hvis der er sat et limit på 20 deltagere på et arrangement i kalenderen.
Load-tests, hvor systemet stresses. Både med store trafikmængder, store data-størrelser, store antal (f.eks. mange tilmeldte i et arrangementssystem). Det sikres at systemet er robust og har fornuftige svartider med passende god margin langt ud over det forventede behov her og nu.
Sikkerhedstests, hvor systemet i fornødent omfang testes for forskellige sikkerhedsbrister og det sikres at de kan modstås på passende vis.
Test af at samtlige tidligere rapporterede cases er håndteret passsende. En fejl som er opdaget en gang, vil ofte vise sig igen - og gøre kunden træt i ansigtet.
Test skal gentages hver gang koden ændres, da selv en lille ændring et sted kan påvirke funktioner i hele systemet (det er derfor at automatiserede tests er sædvanlig praksis i store dele af softwarebranchen).

Kundens test-ansvar:

Stikprøvekontrol, for at sikre at leverandøren har gennemført test på et fornuftigt niveau. Om nødvendigt må leverandøren bedes om at genteste eller udvidde tests, hvis stikprøvekontrollen hurtigt afslører banale fejl.
Efter systemet er leveret og sat i "prøve-drift", har kunden ansvar for at teste systemet i daglig drift og have passende back-up procedurer så tab af data og arbejde minimeres og leverandøren har mulighed for at rette evt. fejl.

Og så til spørgsmålet: Stemmer det med den generelle forventning til fordeling af arbejdsopgaver og ansvar i webbranchen når en kunde bestiller en opgave hos en leverandør? Eller hvordan er niveauet i dag?