Noindex via HTACCESS - Bedre Teknisk SEO

I forbindelse med et spørgsmål her på amino om enmet, tænkte jeg at jeg nok hellere måtte skrive et indlæg om hvordan og hvorledes det fungerer. Så her er der lidt til Aminoerne om det at bruge X-Robots-Tag til noindex, så man kan sikre at sider ikke bliver indekseret. Og det er vel at mærke uden kendskab til PHP eller anden serversidescript.

Velbekomme

MVH Kim Tetzlaff

Lucas - Hosting4Real:

En ting, du måske kunne tilføje, er hvis du laver noindex af et subdomæne, men fx. kun vil have noindex nofollow på alle andre filer undtaget "/".

Lucas - Hosting4Real:

Muligvis, endda have muligheden for at give forskellige robots.txt, baseret på hvad subdomain du er på (godt hvis du f.eks. bruger CDN).

MVH Kim

Lucas - Hosting4Real:

En ting, du måske kunne tilføje, er hvis du laver noindex af et subdomæne, men fx. kun vil have noindex nofollow på alle andre filer undtaget "/".

MVH Kim

Lucas - Hosting4Real:

/ - noindex
/img/billed1.jpg - index
/img/billed2.jpg - index
/video/video1.mov - index 

Så den ikke indexer forsiden, men fx. alle undermapper (dette ville være nemmere med robots.txt selvfølgelig, og derfor jeg gav andet 'request' med, at baseret på hvad 'host' man går til, at man levere forskellige robots.txt filer.

kan du fortælle mig i hvilket tilfælde man ville bruge det du efterspørger? for jeg kan nemlig godt se det med det eksempel jeg bruger, hvor man fx har en midlertidig forside, eller noget i den dur.

MVH Kim

Kim Tetzlaff - KTJ-Media.dk:

Lucas - Hosting4Real:

/ - noindex
/img/billed1.jpg - index
/img/billed2.jpg - index
/video/video1.mov - index 

Så den ikke indexer forsiden, men fx. alle undermapper (dette ville være nemmere med robots.txt selvfølgelig, og derfor jeg gav andet 'request' med, at baseret på hvad 'host' man går til, at man levere forskellige robots.txt filer.

oki, omvendt af hvad jeg lige sagde :)

kan du fortælle mig i hvilket tilfælde man ville bruge det du efterspørger? for jeg kan nemlig godt se det med det eksempel jeg bruger, hvor man fx har en midlertidig forside, eller noget i den dur.

MVH Kim

Grunden er, nogle mennesker bruger CDN, og bruger ofte det der hedder Origin Pull (at CDN henter data fra 'origin' (original website)).

Mange laver et subdomæne der hedder cdn.mitdomæne.dk eller static.mitdomæne.dk, problemet er, at det du ser på www.mitdomæne.dk, kan også blive hentet på dine subdomæner, fordi dit subdomæne er et CNAME til CDN, og CDN sætter en 'origin pull' op.

Dette kan betyde man får duplicate content, pga. www.mitdomæne.dk og cdn.mitdomæne.dk er præcis det samme, bare at cdn.mitdomæne.dk selvfølgelig går via CDN.

Ved at lave en noindex på cdn.mitdomæne.dk, blokere du google for at indexere den, men du vil selvfølgelig gerne have den indexere billeder f.eks.

Derfor ville det være smart, at sætte noindex på cdn.mitdomæne.dk, eller endda bruge 2 forskellige robots.txt

hvor robots.txt vil være

user-agent: *

disallow: wp-admin/

Men assets-robots.txt vil være

user-agent: *

allow: /img/

allow: /video/

disallow: /

Kim Tetzlaff - KTJ-Media.dk:

Lucas - Hosting4Real:

Grunden er, nogle mennesker bruger CDN, og bruger ofte det der hedder Origin Pull (at CDN henter data fra 'origin' (original website)).

Mange laver et subdomæne der hedder cdn.mitdomæne.dk eller static.mitdomæne.dk, problemet er, at det du ser på www.mitdomæne.dk, kan også blive hentet på dine subdomæner, fordi dit subdomæne er et CNAME til CDN, og CDN sætter en 'origin pull' op.

Dette kan betyde man får duplicate content, pga. www.mitdomæne.dk og cdn.mitdomæne.dk er præcis det samme, bare at cdn.mitdomæne.dk selvfølgelig går via CDN.

Ved at lave en noindex på cdn.mitdomæne.dk, blokere du google for at indexere den, men du vil selvfølgelig gerne have den indexere billeder f.eks.

Derfor ville det være smart, at sætte noindex på cdn.mitdomæne.dk, eller endda bruge 2 forskellige robots.txt

hvor robots.txt vil være

user-agent: *

disallow: wp-admin/

Men assets-robots.txt vil være

user-agent: *

allow: /img/

allow: /video/

disallow: /

Oki, det vil altså sige at det du reelt set gerne vil, er at kunne definere mapper som der IKKE skal være noindex på, når der samtidig er tale om et bestemt subdomæne. Den er nem nok at løse, og du burde faktisk også kunne tage de eksempler jeg har lavet allerede, og sammensætte dine egne regler. Men jeg laver da lige et eksempel på det også :)

Giver et backlink om et par dage, så jeg kan share den gode info!

Lucas - Hosting4Real:

Kim Tetzlaff - KTJ-Media.dk:

Lucas - Hosting4Real:

Grunden er, nogle mennesker bruger CDN, og bruger ofte det der hedder Origin Pull (at CDN henter data fra 'origin' (original website)).

Mange laver et subdomæne der hedder cdn.mitdomæne.dk eller static.mitdomæne.dk, problemet er, at det du ser på www.mitdomæne.dk, kan også blive hentet på dine subdomæner, fordi dit subdomæne er et CNAME til CDN, og CDN sætter en 'origin pull' op.

Dette kan betyde man får duplicate content, pga. www.mitdomæne.dk og cdn.mitdomæne.dk er præcis det samme, bare at cdn.mitdomæne.dk selvfølgelig går via CDN.

Ved at lave en noindex på cdn.mitdomæne.dk, blokere du google for at indexere den, men du vil selvfølgelig gerne have den indexere billeder f.eks.

Derfor ville det være smart, at sætte noindex på cdn.mitdomæne.dk, eller endda bruge 2 forskellige robots.txt

hvor robots.txt vil være

user-agent: *

disallow: wp-admin/

Men assets-robots.txt vil være

user-agent: *

allow: /img/

allow: /video/

disallow: /

Oki, det vil altså sige at det du reelt set gerne vil, er at kunne definere mapper som der IKKE skal være noindex på, når der samtidig er tale om et bestemt subdomæne. Den er nem nok at løse, og du burde faktisk også kunne tage de eksempler jeg har lavet allerede, og sammensætte dine egne regler. Men jeg laver da lige et eksempel på det også :)

Giver et backlink om et par dage, så jeg kan share den gode info!

MVH Kim