Hov. Du er ikke logget ind.
DU SKAL VÆRE LOGGET IND, FOR AT INTERAGERE PÅ DENNE SIDE

Hvordan laver jeg en søgemaskine?

Side 6 ud af 10 (98 indlæg)
Tilmeldt 20. Oct 10
Indlæg ialt: 6
Skrevet kl. 11:47
Hvor mange stjerner giver du? :

Google har allerede en konkurrent som jeg ikke har set naevnt her, Kinesiske Baidu. Foer google trak sig fra det Kinesiske marked var Baidu allerede dominerende der. Lur mig om ikke baidu foer eller siden ogsaa bliver international. Ifoelge en artikel jeg fandt i gaar er de ved at overhale yahoo og blive 2 stoerste soegemaskine maalt paa antal soegninger. 

Teknologien og api'er udvikler sig hele tiden, saa en god programmoer kan lave ting i dag paa et par timer som for 10 aar siden tog flere uger. Jeg lavede selv for kort tid siden for sjov en webcrawler hvor jeg satte den til at scanne efter alle danske domaener. Tog mig ikke voldsomt lang tid. 

Jeg vil mene du kan starte saadan:

1. lav en webcrawler

2. Indsamle og kategoriser information

3. Lave nogle vaegtningsmekanismer

4. Praesenter data i en frontend (soegefelt/resultater)

Og goer det fokuseret mod et snaevert omraade som f.x. dk domaener. 

god fornoejelse!

 

Tilmeldt 10. Nov 09
Indlæg ialt: 0
Skrevet kl. 12:54
Hvor mange stjerner giver du? :
Gennemsnit 5,0 stjerner givet af 1 person

SEO Freelancer:

Wi:

Det er jo ikke BARE at bygge en søgemaskine som vægter anderledes.. For at du overhovedet skal have en jordisk chance skal du have en kæmpe kapital, og det er et faktum.

Arbejdet er kæmpemæssigt, og ikke nok med det - hvis man tror at en enkelt eller 2 mænd kan klare det, så tager man fejl.

Man skal sigte højt, men sigter man på Google som udgangspunkt, så skal man justere sit sigtekorn en smule til at starte med.

Jeg bliver nødt til at se det som en joke, og det er jeg sgu ked af, men jeg ser det som en joke på nuværende tidspunkt - ikke at det ikke kan lade sig gøre, men der er jo intet at gå ud fra - men okay.. det er jo også kun et spørgsmål :-)

Det er ikke et faktum at man skal have kapital. Alt det der skal laves er programmering, og det koster ikke penge hvis man selv er dygtig til det. De to der startede Google havde ikke en krone da de byggede noget som nakkede datidens konge altavista.

Det er heller ikke et faktum at man skal bruge mere end 2 mand. Det var kun 2 personer der startede Google.

Jeg syntes bestemt man skal sigte efter Google istedet for at sænke sigtekornet som du siger. Der er jo ingen ide i at lave noget som klart er dårligere end hvad der findes. Du skal lave noget der er bedre end det bedste, og det er Google.

At kalde folks visioner for en joke fortæller mig at du er en iværksætters ærkefjende. Ham der altid fremhæver det negative og skyder alle ideer i sænk. Manden uden visioner og mod der ikke tør tage springet og derfor holder alle andre tilbage.

Det som der bliver snakket om her er gjort før af 2 unge knægte i en garage uden penge, og selvfølgelig kan det gøres igen på samme måde.

Fejlen du og mange andre laver er at tro man fra dag 1 skal starte på samme plan som  Google. Man starter jo altså ikke på målstregen. Man starter småt og arbejder sig langsomt frem.

Altså hvorfor plukker du kun nogle ting ud fra min udtalelse? Jeg siger jo også selv at Google gjorde det 2 mand..

Jeg er ikke en iværksætters ærkefjende, men jeg ser et projekt i den her kaliber som en joke, og det gør jeg af flere grunde:

1. Han laver en tråd med én sætning som lyder: Hvordan laver jeg en søgemaskine der er bedre end google? :-)

2. Han har ingen idéer selv, men spørger os ad hvordan man laver en bedre søgemaskine end Google's.

3. Når man spørger ham ad hvad der er bedre eng Google's søgemaskine, får man svaret: Godt spørgsmål

Nu tager jeg lige de 3 som udgangspunkt. Han har ingen visioner, men blot et spørgsmål om hvordan man laver en bedre søgemaskine end Google's, men han ved ikke hvad en bedre søgemaskine er!
Vi kender ikke Google's søgealgoritme, og jeg hørte en eller anden sige noget med at han havde en idé, som ville sparke Google's algoritme i røven - hvilket jeg da SLET ikke kan tage seriøst, for hvordan skulle det kunne lade sig gøre, når man ikke ved hvordan Google's er.

Det er fint nok med en idé, og nogle tanker, men jeg kan heller ikke sige at jeg vil bryde ind i nationalbanken, uden at vide hvor bankboksene ligger, hvordan vagterne kommer og går, hvordan alarmen går igang etc. etc. - jo det kan jeg godt, men det ville da være tåbeligt, og uden for rækkevidde.

Hvis ens vision er at starte den foretrukne søgemaskine, så vil jeg først og fremmest sige held og lykke, især hvis man vil starte uden kapital eller flere end 2 mænd.

Som jeg også nævnte før SEOfreelancer - den første søgemaskine Google lavede, kan enhver der har godt styr på PHP formentlig lave. Jeg har set rodet lidt med det på et tidspunkt.. Det er ikke så svært at lave noget der indsamler data fra hjemmesider, men det er jo ikke blot at indsamle data.

Hvis man skal være en nogenlunde konkurrent fra start af, kræver det altså også EKSTREMT serverplads og EKSTREMT hurtige servere.. Og det skal altså til fra START af.. Google finder mine resultater med det samme, og med deres nye Google Instant - ja, så blev det lige endnu hurtigere.

Skal man lave en søgemaskine, er det vigtigt at kunne finde resultaterne lige så hurtigt som Google, eller hurtigere - og det kræver ekstreme programmeringsfærdigheder, og det kræver hurtige og stærke servere, og det kræver penge.

Når der er 100.000.000 registrerede sider i din database (som jo LANGT fra er alle internettets sider) - men, når du har det antal i din database, så gad jeg godt se dig lave et script der kan kører dem igennem på under 1 sekund.

Du skal også huske at din(e) robot(ter) skal besøge siderne ofte, for at checke for updates etc. etc.

2 personer til at kunne lave noget bedre end Google? Narh, jeg tvivler.. Google er alt for langt fremme lige pt.

Jeg kunne blive ved med at argumentere og skrive, men det ender altid med at det bliver så langt at folk ikke gider læse det ;-)

Tilmeldt 20. Oct 10
Indlæg ialt: 6
Skrevet kl. 13:22
Hvor mange stjerner giver du? :

Wi:

Hvis man skal være en nogenlunde konkurrent fra start af, kræver det altså også EKSTREMT serverplads og EKSTREMT hurtige servere.. Og det skal altså til fra START af.. Google finder mine resultater med det samme, og med deres nye Google Instant - ja, så blev det lige endnu hurtigere.

Skal man lave en søgemaskine, er det vigtigt at kunne finde resultaterne lige så hurtigt som Google, eller hurtigere - og det kræver ekstreme programmeringsfærdigheder, og det kræver hurtige og stærke servere, og det kræver penge.

Når der er 100.000.000 registrerede sider i din database (som jo LANGT fra er alle internettets sider) - men, når du har det antal i din database, så gad jeg godt se dig lave et script der kan kører dem igennem på under 1 sekund.

Du skal også huske at din(e) robot(ter) skal besøge siderne ofte, for at checke for updates etc. etc.

Jeg er ikke helt enig. En soegemaskine render jo ikke ud og kravler hele nettet naar du klikker soeg. 

I min webdomane kravler test kan jeg loade resultaterne i memory paa min ordinaere baerbare og en soegning paa domaene navn match tager 5 msec. Det er 5/1000 af et sekund. 

Det da klart at jo mere data man kategoriserer, jo mere hukommelse eller processor kraft vil det kraeve, men alt andet lige vil jeg gaette paa at google for mange soege ord har fix og faerdige resultat lister liggende hvor de blot skal slaa den specifikke soegning op i en db el. og det jo ikke noget der burde tage lang tid eller kraever en super kraft server.

Der hvor der kraeves processor og net kraft er omkring indsamling og kategorisering af data. Som ex. igen: det tager min simple krawler en 10 timer at indsamle 40.000 danske domaener. Men naar den foerst har samlet og scannet dem kan de altsaa soeges som sagt meget hurtigt. 

Sf. hvis man saa laver 10.000 soegninger i sekundet kraever det kraft, men alt andet lige hvis nogen lancerer en konkurrent vil de jo netop ikke have 10K soegninger i sekundet, saa det handler jo bare om at lave et scalerbart system hvor man kan udvide efter behovet. 

Tilmeldt 10. Nov 09
Indlæg ialt: 0
Skrevet kl. 13:28
Hvor mange stjerner giver du? :

johnnyj:

Jeg er ikke helt enig. En soegemaskine render jo ikke ud og kravler hele nettet naar du klikker soeg. 

I min webdomane kravler test kan jeg loade resultaterne i memory paa min ordinaere baerbare og en soegning paa domaene navn match tager 5 msec. Det er 5/1000 af et sekund. 

Det da klart at jo mere data man kategoriserer, jo mere hukommelse eller processor kraft vil det kraeve, men alt andet lige vil jeg gaette paa at google for mange soege ord har fix og faerdige resultat lister liggende hvor de blot skal slaa den specifikke soegning op i en db el. og det jo ikke noget der burde tage lang tid eller kraever en super kraft server.

Der hvor der kraeves processor og net kraft er omkring indsamling og kategorisering af data. Som ex. igen: det tager min simple krawler en 10 timer at indsamle 40.000 danske domaener. Men naar den foerst har samlet og scannet dem kan de altsaa soeges som sagt meget hurtigt. 

Sf. hvis man saa laver 10.000 soegninger i sekundet kraever det kraft, men alt andet lige hvis nogen lancerer en konkurrent vil de jo netop ikke have 10K soegninger i sekundet, saa det handler jo bare om at lave et scalerbart system hvor man kan udvide efter behovet. 

Det bliver jeg nok nødt til at være enig i.. Selvfølgelig søger den ikke alle resultaterne igennem når man søger, men kun de 1000 som er bestemt til at være der. God pointe.

Fra Lyngby
Tilmeldt 21. Oct 10
Indlæg ialt: 124
Skrevet kl. 13:34
Hvor mange stjerner giver du? :

Jeg har et forslag til, hvordan søgemaskinerne får en bedre kategorisering:

Crawleren skal ikke søge på hele nettet. Kun de sites, der er blevet tilmeldt. Ved tilmelding skal sites godkendes af en person.

Det vil betyde, at vi slipper for alle de åndsvage affiliate sites, irriterende blogs og latterlige artikeldatabaser. Søgningen kan fokusere på de rigtige web-sites og kun foretage søgninger af sites med en vis kvalitet.

Ud ryger 9/19 af internettets bras og resten bliver nemmere tilgængeligt.

Problemet er så bare, hvordan man kommer hen til det punkt, hvor man har tilstrækkeligt mange sider indekseret, så man har noget at byde brugerne på. Se det er et problem... :)

Fra Herlufmagle
Tilmeldt 10. Nov 06
Indlæg ialt: 3019
Fra  CFO Solutions ApS Skrevet kl. 13:37
Hvor mange stjerner giver du? :

Lars Nielsen:

Hvordan laver jeg en søgemaskine der er bedre end google? :-)

Hvad med at lave et add-on til Google? Altså ikke udvikle din egen søgemaskine, men lave en aaplikation, som brugeren downloader til sin computer, og som baserer sig på Googles arkiver, servere, mv.?

Netop dét med at personificere sine søgninger kunne man gøre meget nemmere for brugeren, og man kunne måske endda kombinere det med en facebook add-on, så man nemt kunne dele søgninger med sine venner.

Jeg har for mange år siden haft en idé om netop at lave en sådan applikation, og har mange detaljerede idéer til, hvordan det burde laves.

 

Tilmeldt 20. Apr 07
Indlæg ialt: 16014
30% af profil udfyldt
Skrevet kl. 13:38
Hvor mange stjerner giver du? :

Jonas Jacobsen:

Ud ryger 9/19 af internettets bras og resten bliver nemmere tilgængeligt.

Problemet er så bare, hvordan man kommer hen til det punkt, hvor man har tilstrækkeligt mange sider indekseret, så man har noget at byde brugerne på. Se det er et problem... :)

Nu snakker du ikke søgemaskine mere, nu snakker du et stort link katalog som dmoz.

Det store problem ud over det du nævner er også at indholdet ikke bliver opdateret, og at det kræver mange mandetimer.

 

Tilmeldt 20. Apr 07
Indlæg ialt: 16014
30% af profil udfyldt
Skrevet kl. 13:40
Hvor mange stjerner giver du? :

Martin E. Jensen:

Lars Nielsen:

Hvordan laver jeg en søgemaskine der er bedre end google? :-)

Hvad med at lave et add-on til Google? Altså ikke udvikle din egen søgemaskine, men lave en aaplikation, som brugeren downloader til sin computer, og som baserer sig på Googles arkiver, servere, mv.?

Du mener at lave en søgemaskine baseret på Google !

Den går ikke, og der er heller ikke meget konkurrent over det hehe

Prøv engang at lave en tilfældig søgning og tryk på næste RIGTIG hurtigt omkring 20 gange i træk. Så lukker de dig ned fordi de tror du er en robot der henter resultater fra dem.

 

 

Fra Herlufmagle
Tilmeldt 10. Nov 06
Indlæg ialt: 3019
Fra  CFO Solutions ApS Skrevet kl. 13:48
Hvor mange stjerner giver du? :

Prøv engang at lave en tilfældig søgning og tryk på næste RIGTIG hurtigt omkring 20 gange i træk. Så lukker de dig ned fordi de tror du er en robot der henter resultater fra dem.

Søgningen ville jo stadig komme fra brugeren, så der ville ikke være nogen forskel fra de brugere, som anvender Google i dag.

Jeg er dog slet ikke i tvivl om, at næste skridt indenfor søgemaskiner er, hvor brugere logger ind i et program, og på den måde tilbyder brugeren nogle meget personificerede søgninger.

Google roder jo allerede med det, men er blevet så store, at de ikke er fleksible nok.

 

Fra Lyngby
Tilmeldt 21. Oct 10
Indlæg ialt: 124
Skrevet kl. 13:52
Hvor mange stjerner giver du? :

SEO Freelancer:

Jonas Jacobsen:

Ud ryger 9/19 af internettets bras og resten bliver nemmere tilgængeligt.

Problemet er så bare, hvordan man kommer hen til det punkt, hvor man har tilstrækkeligt mange sider indekseret, så man har noget at byde brugerne på. Se det er et problem... :)

Nu snakker du ikke søgemaskine mere, nu snakker du et stort link katalog som dmoz.

Det store problem ud over det du nævner er også at indholdet ikke bliver opdateret, og at det kræver mange mandetimer.

 

 

Nej, du misforstår. Jeg taler ikke om en linkdatabase.

Der skal stadigvæk være en crawler og indeksering. Den skal bare KUN crawle de sider, der bliver godkendt. Forestil dig google, der kun søger på sites, der først er blevet manuelt udvalgt.

Side 6 ud af 10 (98 indlæg)