Jeg siger på ingen måde at det er en fyldestgørende test, og man kan rigtigtnok sagtens have duplicate content problemer uden at det afsløres af denne test. En bedre metode kan være at finde en crawler der crawler hele websitet og udregner en såkaldt hash-værdi for hver side ud fra den enkelte sides html-kode. Dette afslører URL der linkes internt og som har identisk html. Det afslører dog ikke hvis indgående links bruger csref og lignende på links.
Hvis vi vender tilbage til den test jeg nævnte, så sker der det at hvis man siger ja til at få vist eventuelle skjulte sider, så sættes parameteren filter=0 på søgningen. SOm det kan ses af dokumentet herunder, svarer filter=0 til at slå duplicate snippet filter og duplicate directory filter fra. Så ifølge dokumentationen skyldes de skjulte sider at Google på den ene eller andne måde vurderer at de indeholder duplicate content. Af samme grundholder jeg fast ved at man bør være agtpågivende overfor duplicate indhold hvis der meldes om skjulte sider. Men jeg er enig med MIkkel at testen ikke kan og bør stå alene.
>>>>>>>> Dokumentation af FILTER parameter i Google >>>>>>
http://code.google.com/intl/da/apis/searchappliance/documentation/52/xml_reference.html#request_filter_auto
Automatic Filtering
Google uses automatic filtering to ensure the highest quality search results.
Google search uses two types of automatic filters:
- Duplicate Snippet Filter - If multiple documents contain identical titles as well as the same information in their snippets in response to a query, only the most relevant document of that set is displayed in the results.
- Duplicate Directory Filter - If there are many results in a single web directory, then only the two most relevant results for that directory are displayed. An output flag indicates that more results are available from that directory.
By default, both of these filters are enabled. You can disable or enable the filters by using the filter
parameter settings as shown in the table.
Filter value |
-->Filter value | Duplicate Snippet Filter | Duplicate Directory Filter |
filter=1 |
Enabled (ON) |
Enabled (ON) |
filter=0 |
Disabled (OFF) |
Disabled (OFF) |
filter=s |
Disabled (OFF) |
Enabled (ON) |
filter=p |
Enabled (ON) |
Disabled (OFF) |
When a search filter is enabled and removes some results, the search results output indicates that results were filtered. See Estimated vs. Actual Number of Results for more information about how a filtered result set is identified and for recommendations for displaying the results.