Hvordan laver jeg en søgemaskine?

Lars Meyer:

johnnyj:

Nej undskyld, maase lidt for haardt skrevet. Men svaerere er det altsaa heller ikke.

Du undervurderer opgaven i allerhøjeste grad. Alle der har beskæftiget sig med dette på professionelt seriøst business plan ved at det slet ikke er så let.

Lad os tage udgangspunkt i et telefon nummer index som du nævner:
Det kan måske forekomme nemt når man med sine første spæde programmeringslinier hurtigt kan scanne et eller tusindvis af websites for data og kategorisere det. Men så kommer alt det svære arbejde:

vedligehold af data, opdatering af data, udvidelse af data.
- Hvad sker der når fx eniro.dk du scanner ændrer deres html/javascript?
- Hvad sker der når din rutine har scannet hele CVR.dk og tror at det var telefonnumre, fordi de var 8-cifret?
- Hvordan håndterer du når du har samme telefonnummer 10 gange fra forskellige websites), men med forskellige tilknyttede persondata?
- Etc. etc. etc.

Undtagelserne i programmeringen og rensning+strukturering af data er den helt store udfordring her, og det er bestemt ikke let. Jo dybere man graver og jo bedre en service man vil levere, jo sværere forstår man at det er.

Bare spørg en hvilken som helst derude som har forsøgt at stille en professionel service til rådighed og leve af det... (jeg selv inklusiv)

Og iovrigt, jeg har aldrig proevet at lave noget som programmoer som jeg ikke er lykkes med. 

Saa det svaert for mig at forholde mig til at sige dit og dat kan ikke lade sig goere. Sf. kan det lade sig goere. Uanset om man er 2 eller 2000 programmoerer. 

Men man skal braende for det, det er 100. 

johnnyj:

Og iovrigt, jeg har aldrig proevet at lave noget som programmoer som jeg ikke er lykkes med. 

Saa det svaert for mig at forholde mig til at sige dit og dat kan ikke lade sig goere. Sf. kan det lade sig goere. Uanset om man er 2 eller 2000 programmoerer. 

Men man skal braende for det, det er 100. 

Imponerende at du aldrig er fejlet med et projekt! Er det så fordi du er blændende dygtig, eller er det fordi du ikke  sætter dit ambitionsniveau højere end at du er 110% sikker på at du kan lave det med venstre hånd?

Den svære del af en søgemaskine er nok ikke at indsamle data fra hjemmesider, men måske nærmere at bestemme hvilken side der skal vises først hvis du f.eks søger på "hest".

johnnyj:

Og iovrigt, jeg har aldrig proevet at lave noget som programmoer som jeg ikke er lykkes med. 

Så er du enten meget rig eller fuldstændig uden ambitioner og fantasi!

Det lyder måske lidt hårdt, men sådan er det egenligt ikke ment.

Jeg har faktisk selv haft det engang, da jeg i jeg tror det var 6. eller 7. klasse havde læst Brian & Ritchie C bog, og troede at jeg nu kunne bygge et vilkårligt verdens fedeste spil. Jeg havde plan og ambitioner i skala med World of Warcraft, og vi snakker i 80'erne.

Det selvfølgeligt ikke særligt realistisk, men i begyndelsen kommer til at tænke sådan, er at programmering mere faktisk er det eneste fag, hvor man 100% via brainpower bygger noget. Så i princippet kan alle bygge alt.

Men omvendt så sagde rygtet at det tog 10.000 mandeår at bygge MS Word 2000, og så længe lever de færreste.

Mit råd til dig i fremtiden, er at selvom du lærer lidt mere om dine egne begrænsninger med tiden, så lad endelig vær med at glemme den barnlige naivitet! Den er ligeså meget en styrke som en svaghed!

Distributed computing er ikke nyt - og det har skam også været afprøvet til at lave en stor søgemaskine med. Men den blev ingen succes. P.t. mener jeg Majestic er de eneste der crawler med en distributed crawling model.

Men ideen lyder da ikke så dum endda! :-) Det vil jeg tænke ind i designet når jeg udvikler min egen! ;-)

johnnyj:

Og iovrigt, jeg har aldrig proevet at lave noget som programmoer som jeg ikke er lykkes med. 

Saa det svaert for mig at forholde mig til at sige dit og dat kan ikke lade sig goere. Sf. kan det lade sig goere. Uanset om man er 2 eller 2000 programmoerer. 

Men man skal braende for det, det er 100. 

Tillykke og det er da rart at du aldrig har prøvet at fejle på et programmeringsprojekt. Dog har du så efter min mening meget til gode, at fejle med et programmeringsprojekt er virkelig en erfaring som alle programmører bør være rigere. Det er en god baggage for at kunne vurdere fremtidige projekter.

Desuden handler det at lave fx en søgemaskine som Google's om meget mere end bare programmering. Det er muligt Googles fundament engang kunne grundlægges af nogen få individer, men på det tidspunkt så konkurrencen på markedet meget anderledes ud, og Googles søgemaskine er idag et højteknologisk vidunder langt fra det stadie de startede på.

Hvis man vil ud og konkurrere vil jeg mene at den bedste strategi er at gøre noget anderledes end konkurrenterne og arbejde i niche-områder. Evt. supplerende services, istedet for at prøve at "slå" konkurrenten.

Der er bestemt intet galt med at have store ambitioner og engagement og tro på man kan nå langt, men en hvis fornuft og realisme er også på sin plads så man kan målrette sin indsats på et succesfuldt projekt.

Lars Nielsen:

Hvordan laver jeg en søgemaskine der er bedre end google? :-)

Det er det forkerte spørgsmål.

Det du ville spørge om er: hvordan bygger jeg en applikation der hjælper folk med at finde ting de er interesserede i på nettet?

Som jeg oplever det, er der to faktorer der spiller ind når jeg er endt på et site på nettet. Enten har jeg selv aktive søgt efter det (pull), eller også er der nogen der har skubbet linket ind foran næsen på mig (push).

Pull er næsten 100% google for mig, men push er pt. primært twitter og sekundært blog-feeds. Men på Push siden mangler jeg stadig input. Jeg mangler TiVo til internet. Giv nogle kvalificerede gæt på hvad jeg gerne vil se på nættet, og skub det ind under min næse, så har du en bruger i mig.

Så har du nok ikke en google killer, men en google sidekick.