Hvordan laver jeg en søgemaskine?

wow... det var da lidt af en diskution jeg fik startet her! :-) Jeg nærlæser lige lidt senere, men jeg har da et par kommentarer.

Det var ikke albert Einstein, men Isaac Newton der fik et æble i hovedet.
Jo jeg har visioner, men der er jo ingen grund til at afsløre dem alle lige med det samme. Jeg synes bl.a. det ville være spænnende at lave en maskine der søgte på indholdet i billeder og video.

Så var jeg ude og køre post i formiddags, og tænkte på hvordan jeg kan indekserer store mængder tekst med forholdsvis begrænset database størrelse!

Nå jeg skal lige hente datteren i vuggestuen så kigger jeg ind senere! :-) 

Roscoe:

Tja...been there done that. Jeg tror ikke det kan lade sig gøre for alm. mennesker eller sågar alm. store virksomheder. Du skal have et kæmpe budget.

Jeg og en kammerat samt en ekstern hyret programmør arbejdede i 1½ år på et lignende projekt og kom aldrig tæt på at være i mål.

Det kræver så enorm stor kapacitet, at lave en linkdatabase, hente indhold, parse indhold og så igen rangere skidtet. Når vi var færdige med én af processerne var vi allerede milevidt bagud. Der kommer så mange nye sider til hvert minut, at det er umuligt, at følge med.

Pointen er jo, at for at lave en konkurrent skal du ikke starte med hele webben, du skal starte snaeveret og fokuseret. 

Som jeg beskrev i en tidligere kommentar har jeg lavet en scanner der paa 10 timer kan finde 40.000 danske domaener, koerende paa min lille baerbare. Det du beskriver lyder sgu som om i bare er daarlige programmoerer eller fatter 0. 

Wi:

johnnyj:

Roscoe:

Tja...been there done that. Jeg tror ikke det kan lade sig gøre for alm. mennesker eller sågar alm. store virksomheder. Du skal have et kæmpe budget.

Jeg og en kammerat samt en ekstern hyret programmør arbejdede i 1½ år på et lignende projekt og kom aldrig tæt på at være i mål.

Det kræver så enorm stor kapacitet, at lave en linkdatabase, hente indhold, parse indhold og så igen rangere skidtet. Når vi var færdige med én af processerne var vi allerede milevidt bagud. Der kommer så mange nye sider til hvert minut, at det er umuligt, at følge med.

Pointen er jo, at for at lave en konkurrent skal du ikke starte med hele webben, du skal starte snaeveret og fokuseret. 

Som jeg beskrev i en tidligere kommentar har jeg lavet en scanner der paa 10 timer kan finde 40.000 danske domaener, koerende paa min lille baerbare. Det du beskriver lyder sgu som om i bare er daarlige programmoerer eller fatter 0. 

 

Ikke endvidere flinkt skrevet.

Hvis man fatter 0 fordi man ikke kan slå Google, så skriver jeg mig ind ;-)

Nej undskyld, maase lidt for haardt skrevet. Men svaerere er det altsaa heller ikke.

Uanset hvad man beskaeftiger sig med at goere en success handler det om kvalitet fremfor kvantitet. Og man behoever ikke scanne hele nettet for at lave en soegemaskine der er bedre end google, en der daekker Silkeborg kan vaere bedre lavet!? Det betyder ikke den er bedre for en der sidder i mellemoesten, men det jo bare et spoergsmaal om at den soegemaskine man laver skal laves scalerbar saa naar den foerst er lavet god, saa udvider man konteksten.

Som andre har skrevet er maaske 90% af mulige sider ret ligegyldige for en soegemaskine, eller, de resterende 10% vil kun vaere interessante for 0.01% af soegningerne. 

Og at opbygge en linkdatabase, det fatter jeg slet ikke meningen i. Noget interessant kunne vaere at opbygge et telefon nummer index. Det let at scanne sider for telefonnumre, og de kan indekseres i en tabel ret simpelt og derved give hurtige soegeresultater.

Eller navne liste. 

Min pointe er, det handler jo ikke om links, men om de data der findes og hvordan de kategoriseres. 

johnnyj:

Nej undskyld, maase lidt for haardt skrevet. Men svaerere er det altsaa heller ikke.

Du undervurderer opgaven i allerhøjeste grad. Alle der har beskæftiget sig med dette på professionelt seriøst business plan ved at det slet ikke er så let.

Lad os tage udgangspunkt i et telefon nummer index som du nævner:
Det kan måske forekomme nemt når man med sine første spæde programmeringslinier hurtigt kan scanne et eller tusindvis af websites for data og kategorisere det. Men så kommer alt det svære arbejde:

vedligehold af data, opdatering af data, udvidelse af data.
- Hvad sker der når fx eniro.dk du scanner ændrer deres html/javascript?
- Hvad sker der når din rutine har scannet hele CVR.dk og tror at det var telefonnumre, fordi de var 8-cifret?
- Hvordan håndterer du når du har samme telefonnummer 10 gange fra forskellige websites), men med forskellige tilknyttede persondata?
- Etc. etc. etc.

Undtagelserne i programmeringen og rensning+strukturering af data er den helt store udfordring her, og det er bestemt ikke let. Jo dybere man graver og jo bedre en service man vil levere, jo sværere forstår man at det er.

Bare spørg en hvilken som helst derude som har forsøgt at stille en professionel service til rådighed og leve af det... (jeg selv inklusiv)

Lars Meyer:

johnnyj:

Nej undskyld, maase lidt for haardt skrevet. Men svaerere er det altsaa heller ikke.

Du undervurderer opgaven i allerhøjeste grad. Alle der har beskæftiget sig med dette på professionelt seriøst business plan ved at det slet ikke er så let.

Lad os tage udgangspunkt i et telefon nummer index som du nævner:
Det kan måske forekomme nemt når man med sine første spæde programmeringslinier hurtigt kan scanne et eller tusindvis af websites for data og kategorisere det. Men så kommer alt det svære arbejde:

vedligehold af data, opdatering af data, udvidelse af data.
- Hvad sker der når fx eniro.dk du scanner ændrer deres html/javascript?
- Hvad sker der når din rutine har scannet hele CVR.dk og tror at det var telefonnumre, fordi de var 8-cifret?
- Hvordan håndterer du når du har samme telefonnummer 10 gange fra forskellige websites), men med forskellige tilknyttede persondata?
- Etc. etc. etc.

Undtagelserne i programmeringen og rensning+strukturering af data er den helt store udfordring her, og det er bestemt ikke let. Jo dybere man graver og jo bedre en service man vil levere, jo sværere forstår man at det er.

Bare spørg en hvilken som helst derude som har forsøgt at stille en professionel service til rådighed og leve af det... (jeg selv inklusiv)

Jeg mener ikke jeg undervurderer den tekniske udfordring. 

Et cvrnummer er vel lige saa godt hit paa en soegning paa et 8 cifret nummer som et telefonnummer, saa jeg ser ikke noget problem i det. Kald det en "nummer" tabel snarere end telefonnummer tabel (jeg naevnte blot telefon numre fordi det er noget jeg selv har soegt paa). 

Anyway det er meningsloest at diskutere. Som idealistisk programmoer mener jeg slet ikke det er umuligt at tage kampen op med google, og at hoere nogen sige de har brugt flere aar paa det uden resultat, det forstaar jeg slet ikke. 

Det er meget simpelt - du kan lave den i programmerings sproget "PHP"

Du skal indsætte følgende kode på en hjemmeside:

"<?

echo 'search-engine better than google';

?>"

Hvis du mangler kapital til opstart/registrering af hjemmeside, vil jeg gerne investere i dig. Du skal bare sende mig en PM med dit dankortnummer, udløbsdato og cvc kode.