Hvordan laver jeg en søgemaskine?

johnnyj:

Nej undskyld, maase lidt for haardt skrevet. Men svaerere er det altsaa heller ikke.

Du undervurderer opgaven i allerhøjeste grad. Alle der har beskæftiget sig med dette på professionelt seriøst business plan ved at det slet ikke er så let.

Lad os tage udgangspunkt i et telefon nummer index som du nævner:
Det kan måske forekomme nemt når man med sine første spæde programmeringslinier hurtigt kan scanne et eller tusindvis af websites for data og kategorisere det. Men så kommer alt det svære arbejde:

vedligehold af data, opdatering af data, udvidelse af data.
- Hvad sker der når fx eniro.dk du scanner ændrer deres html/javascript?
- Hvad sker der når din rutine har scannet hele CVR.dk og tror at det var telefonnumre, fordi de var 8-cifret?
- Hvordan håndterer du når du har samme telefonnummer 10 gange fra forskellige websites), men med forskellige tilknyttede persondata?
- Etc. etc. etc.

Undtagelserne i programmeringen og rensning+strukturering af data er den helt store udfordring her, og det er bestemt ikke let. Jo dybere man graver og jo bedre en service man vil levere, jo sværere forstår man at det er.

Bare spørg en hvilken som helst derude som har forsøgt at stille en professionel service til rådighed og leve af det... (jeg selv inklusiv)

Lars Meyer:

johnnyj:

Nej undskyld, maase lidt for haardt skrevet. Men svaerere er det altsaa heller ikke.

Du undervurderer opgaven i allerhøjeste grad. Alle der har beskæftiget sig med dette på professionelt seriøst business plan ved at det slet ikke er så let.

Lad os tage udgangspunkt i et telefon nummer index som du nævner:
Det kan måske forekomme nemt når man med sine første spæde programmeringslinier hurtigt kan scanne et eller tusindvis af websites for data og kategorisere det. Men så kommer alt det svære arbejde:

vedligehold af data, opdatering af data, udvidelse af data.
- Hvad sker der når fx eniro.dk du scanner ændrer deres html/javascript?
- Hvad sker der når din rutine har scannet hele CVR.dk og tror at det var telefonnumre, fordi de var 8-cifret?
- Hvordan håndterer du når du har samme telefonnummer 10 gange fra forskellige websites), men med forskellige tilknyttede persondata?
- Etc. etc. etc.

Undtagelserne i programmeringen og rensning+strukturering af data er den helt store udfordring her, og det er bestemt ikke let. Jo dybere man graver og jo bedre en service man vil levere, jo sværere forstår man at det er.

Bare spørg en hvilken som helst derude som har forsøgt at stille en professionel service til rådighed og leve af det... (jeg selv inklusiv)

Jeg mener ikke jeg undervurderer den tekniske udfordring. 

Et cvrnummer er vel lige saa godt hit paa en soegning paa et 8 cifret nummer som et telefonnummer, saa jeg ser ikke noget problem i det. Kald det en "nummer" tabel snarere end telefonnummer tabel (jeg naevnte blot telefon numre fordi det er noget jeg selv har soegt paa). 

Anyway det er meningsloest at diskutere. Som idealistisk programmoer mener jeg slet ikke det er umuligt at tage kampen op med google, og at hoere nogen sige de har brugt flere aar paa det uden resultat, det forstaar jeg slet ikke. 

Det er meget simpelt - du kan lave den i programmerings sproget "PHP"

Du skal indsætte følgende kode på en hjemmeside:

"<?

echo 'search-engine better than google';

?>"

Hvis du mangler kapital til opstart/registrering af hjemmeside, vil jeg gerne investere i dig. Du skal bare sende mig en PM med dit dankortnummer, udløbsdato og cvc kode.

Johnny, hvis det du siger passer, hvorfor gør du så ikke noget mere ud af det? Du kunne jo blive ansat hos Google. Bumbum - Milliarderne ligger og venter, bare kom igang.

Jeg tvivler ikke på at du er en dygtig programmør, men der sidder trods alt højtuddannede nørder hos Google, der hvér dag forsker i udvikling af søgemaskinen. Googles folk er ikke nødvendigvis de bedste, men man overtager ikke verden i denne branche, hvis ikke man er mindst ca. ekstremt meget bedre end de andre, på en skala fra 1 til hest.

johnnyj:

Og iovrigt, jeg har aldrig proevet at lave noget som programmoer som jeg ikke er lykkes med. 

Saa det svaert for mig at forholde mig til at sige dit og dat kan ikke lade sig goere. Sf. kan det lade sig goere. Uanset om man er 2 eller 2000 programmoerer. 

Men man skal braende for det, det er 100. 

Imponerende at du aldrig er fejlet med et projekt! Er det så fordi du er blændende dygtig, eller er det fordi du ikke  sætter dit ambitionsniveau højere end at du er 110% sikker på at du kan lave det med venstre hånd?

Den svære del af en søgemaskine er nok ikke at indsamle data fra hjemmesider, men måske nærmere at bestemme hvilken side der skal vises først hvis du f.eks søger på "hest".

Mikkel deMib Svendsen:

Og hvad er det for nogle dyre principper du mener man kan undgå - båndbredde, regnekraft og harddisc plads. Jeg glæder mig da til at se, hvordan du vil lave en søgemaskiner, der ikke trækker på den slags ligegyldige detaljer :)

En fiks idé i hovedet på en dygtig IT-haj vil formentlig inden længe gøre det muligt at udnytte fælles maskinkraft, fremfor at finansiere gildet selv. En løsning der ligner den de forskellige torrents benytter kunne da sagtens se dagens lys i en nær fremtid.

En open source søgemaskine, der "bor" på 100.000.000 PC'er rundt om i verden. Jeg kan godt lide idéen :-)

Distributed computing er ikke nyt - og det har skam også været afprøvet til at lave en stor søgemaskine med. Men den blev ingen succes. P.t. mener jeg Majestic er de eneste der crawler med en distributed crawling model.