Hvordan laver jeg en søgemaskine?

Vis mig en faktor der ikke kan manipuleres - og jeg skal vise jer hvordan den alligevel kan

ALT kan manipuleres - både mennesker, mekanismer og maskiner. Og i den sammenhæng er computerprogrammer faktisk i den lette ende.

Martin E. Jensen:

Jonas Jacobsen:

Det giver mening, at starte med et område, fordi man så kan afdække den manuelle del hurtigere. Man kunne begrænse sig både geografisk og på område, men det er stadigvæk et monsterprojekt :)

 

Det vil være for omfattende at starte et projekt, hvor virksomheden selv skal levere manuel indeksering. Dén tid er forbi.

 

 

Du svarer ikke på noget af det jeg skriver, men tillægger mig i dine to sidste indlæg ting jeg ikke har skrevet eller ment. Læs mine indlæg igen ;)

Jonas Jacobsen:

Martin E. Jensen:

Jonas Jacobsen:

Det giver mening, at starte med et område, fordi man så kan afdække den manuelle del hurtigere. Man kunne begrænse sig både geografisk og på område, men det er stadigvæk et monsterprojekt :)

Det vil være for omfattende at starte et projekt, hvor virksomheden selv skal levere manuel indeksering. Dén tid er forbi.

Du svarer ikke på noget af det jeg skriver, men tillægger mig i dine to sidste indlæg ting jeg ikke har skrevet eller ment. Læs mine indlæg igen ;)

LOL

Prøv lige selv at læse indlæggene igen!

Jeg har hverken givet udtryk for om jeg er enig eller uenig med dig... eller for den sags skyld følt at vi har haft en dybere kommunikation kørende, hvor jeg skulle svare på alt det du har skrevet i denne tråd.

Har både læst og svaret på de af dine indlæg, hvor du har citeret mine indlæg på Amino. Jeg har ikke refereret til noget du "har sagt", eller i øvrigt givet udtryk for noget du mente, så jeg kan ikke helt følge din kommentar her...

Jeg havde egentlig bare nogle tanker om søgemaskiner, som jeg valgte at lægge ud i forum'et.

Tja...been there done that. Jeg tror ikke det kan lade sig gøre for alm. mennesker eller sågar alm. store virksomheder. Du skal have et kæmpe budget.

Jeg og en kammerat samt en ekstern hyret programmør arbejdede i 1½ år på et lignende projekt og kom aldrig tæt på at være i mål.

Det kræver så enorm stor kapacitet, at lave en linkdatabase, hente indhold, parse indhold og så igen rangere skidtet. Når vi var færdige med én af processerne var vi allerede milevidt bagud. Der kommer så mange nye sider til hvert minut, at det er umuligt, at følge med.

Jeg har en hel del kode til at ligge du gerne må overtage, hvis du er interesseret og agter, at begive dig ud i det.

Et par goderåd , der måske er oplagte, men som godt kan være faldgrubber:

1) Lav en niche søgemaskine, der måske er bedre end Google på nichen. Hele nettet er for stort. Vi var bl.a. nødt til, at sortere porno sider fra - der går så også tid med at lave et filter, der fungerer nogenlunde.

2) Pas på med at din bot ikke render i en autogeneret kalender. Så kommer botten pludselig på meget overarbejde og mens du sover og botten snurrer kan du have spildt 8 timer på at hente inholf fra en uendelig kalender.

3) Lad være med at købe udstyr før det er strengt nødvendigt og du er sikker på, at det hele kører. Har selv brugt alt for mange penge på udstyr, der hurtigt bliver forældet. bl.a. en server til 35.000 kr. jeg ikke kan få 5.000 kr for i dag her 1½ år senere.

johnnyj:

Roscoe:

Tja...been there done that. Jeg tror ikke det kan lade sig gøre for alm. mennesker eller sågar alm. store virksomheder. Du skal have et kæmpe budget.

Jeg og en kammerat samt en ekstern hyret programmør arbejdede i 1½ år på et lignende projekt og kom aldrig tæt på at være i mål.

Det kræver så enorm stor kapacitet, at lave en linkdatabase, hente indhold, parse indhold og så igen rangere skidtet. Når vi var færdige med én af processerne var vi allerede milevidt bagud. Der kommer så mange nye sider til hvert minut, at det er umuligt, at følge med.

Pointen er jo, at for at lave en konkurrent skal du ikke starte med hele webben, du skal starte snaeveret og fokuseret. 

Som jeg beskrev i en tidligere kommentar har jeg lavet en scanner der paa 10 timer kan finde 40.000 danske domaener, koerende paa min lille baerbare. Det du beskriver lyder sgu som om i bare er daarlige programmoerer eller fatter 0. 

 

Ikke endvidere flinkt skrevet.

Hvis man fatter 0 fordi man ikke kan slå Google, så skriver jeg mig ind ;-)

Wi:

johnnyj:

Roscoe:

Tja...been there done that. Jeg tror ikke det kan lade sig gøre for alm. mennesker eller sågar alm. store virksomheder. Du skal have et kæmpe budget.

Jeg og en kammerat samt en ekstern hyret programmør arbejdede i 1½ år på et lignende projekt og kom aldrig tæt på at være i mål.

Det kræver så enorm stor kapacitet, at lave en linkdatabase, hente indhold, parse indhold og så igen rangere skidtet. Når vi var færdige med én af processerne var vi allerede milevidt bagud. Der kommer så mange nye sider til hvert minut, at det er umuligt, at følge med.

Pointen er jo, at for at lave en konkurrent skal du ikke starte med hele webben, du skal starte snaeveret og fokuseret. 

Som jeg beskrev i en tidligere kommentar har jeg lavet en scanner der paa 10 timer kan finde 40.000 danske domaener, koerende paa min lille baerbare. Det du beskriver lyder sgu som om i bare er daarlige programmoerer eller fatter 0. 

 

Ikke endvidere flinkt skrevet.

Hvis man fatter 0 fordi man ikke kan slå Google, så skriver jeg mig ind ;-)

Nej undskyld, maase lidt for haardt skrevet. Men svaerere er det altsaa heller ikke.

Uanset hvad man beskaeftiger sig med at goere en success handler det om kvalitet fremfor kvantitet. Og man behoever ikke scanne hele nettet for at lave en soegemaskine der er bedre end google, en der daekker Silkeborg kan vaere bedre lavet!? Det betyder ikke den er bedre for en der sidder i mellemoesten, men det jo bare et spoergsmaal om at den soegemaskine man laver skal laves scalerbar saa naar den foerst er lavet god, saa udvider man konteksten.

Som andre har skrevet er maaske 90% af mulige sider ret ligegyldige for en soegemaskine, eller, de resterende 10% vil kun vaere interessante for 0.01% af soegningerne. 

Og at opbygge en linkdatabase, det fatter jeg slet ikke meningen i. Noget interessant kunne vaere at opbygge et telefon nummer index. Det let at scanne sider for telefonnumre, og de kan indekseres i en tabel ret simpelt og derved give hurtige soegeresultater.

Eller navne liste. 

Min pointe er, det handler jo ikke om links, men om de data der findes og hvordan de kategoriseres.