Hvordan undgår du at blive blocked på din IP ved SERP målinger?

Jeg bruger i dag blandt andet IPB http://www.ibusinesspromoter.com/ til at måle mine kunders websites placeringer i søgeresultaterne på google.dk.

Desværre bliver jeg dagligt blokket i IBP på min IP, også selvom jeg har sat feks et 10 sek interval imellem hvert ping.

Bl.a. derfor har jeg fået en programmør til snarest at udvikle et 'SERP program', som kan indstilles til hvad jeg end lyster (feks et random interval på 3-15 sek imellem hvert ping - human emulation), men om det permanent løser problemet tror jeg egentlig ikke.
Proxy server har også været diskuteret, men det var vist heller ikke løsningen.

Min programmør fortæller mig så at via en Google API key kan man pinge google 100 gange om dagen, men det er alt for lidt. Jeg har i snit mindst 10 websites, som skal måles på hver dag. Næste dag er det 10 andre URL'er, og såfremdeles. Hvert websites skal måles på ca 40 sætninger / ord, og gerne fra placering 1-30 på google.dk.

Nogle bud på en holdbar løsning, som gør at man ikke bliver blokket på sin IP?

Hvad gør i andre, som også har behov for høj volumen af målinger?

Softwaren skal desuden have samme projekt/kundedatabase, da der er ca 10 forskellige medarbejdere, som arbejder med de samme kunder/websites. Det taler for en browserbaseret løsning, men min programmør foretrækker at det program han udvikler til mig skal køre lokalt, og så med en database der hostes ude i skyen.

Nu skal jeg passe på, men jeg vil næsten gå så langt som at sige, at money is not an issue i denne sammenhæng. Jeg skal blot have en løsning der fungerer 100%.

Hey Thomas

Det 'SERP program' lyder som en web scraber. Og det skal du passe på med,  Google's TOS forbyder specifikt web scrabers.

5.3 You agree not to access (or attempt to access) any of the Services by any means other than through the interface that is provided by Google, unless you have been specifically allowed to do so in a separate agreement with Google. You specifically agree not to access (or attempt to access) any of the Services through any automated means (including use of scripts or web crawlers) and shall ensure that you comply with the instructions set out in any robots.txt file present on the Services.

Det er ikke bare en tom trussel, Google IP-banner faktisk folk de fanger. Så din programmør skal være rigtig skarp, for at undgå problemer for dig.

Googles Web Search API kunne du have brugt til at få SERPs maskinelt, men de er stoppet med at uddele API nøgler, og du kan ikke få / låne /leje / etc en API key uden at bryde Web Search TOS.

You agree that when using the Service, You will not, and will not permit users or other third parties to:[...]

display any Google Search Results to any third parties other than end users or otherwise transfer, sell, lease, syndicate, lend, or use for co-branding, timesharing, service bureau, or other unauthorized purposes the Service or access theret

Hver key giver adgang til 1000 queries, så du vil have brug for two keys. Da videresalg er imod TOS og der er efterspørgsel uden nogen forsyning ,så vil keys være svære at få fat i og rigtig dyre. Så er der også konsekvenserne fra Google's side, hvis de opdager dig. API'er er ikke blevet vedligeholdt i et helt år, så du må forvente problemer. Endelig så lukker Web Search API'en helt den første november 2013, så det er en 2-årig løsning.

Det kan være din programmør har forvirret sig med JSON/Atom Custom Search API, der giver dig 100 søgninger om dagen, hvor du kan købe dig til flere. Men den arbejder kun med Custom Search Engines. Altså søgninger internt på domæner. Så medmindre du har downloadet hele internettet, er det ikke en mulighed for dig.

Hvis GWT heller ikke er en mulighed, så er der en sidste mulighed. En metode der ikke er bredt kendt og kun er blevet mulig for et kort stykke tid siden. Metoden registrerer placeringen af søgeord, der førte til organisk traffik fra google til din side. For SERPs != SERPs, som denne amino tråd jo fint demonstrerer, og den eneste SERP der betyder noget, er den for dine websites kunder.

Andre fordele ved metoden er

 - 100% lovlig. Nul brud på TOS

 - Ingen risiko for IP-Banning eller andre straffe. 

 - Accept fra Google. Så det er en løsning der varer.

 - Ingen begrænsning på data. Alle placeringer for alle søgeord, der førte til organisk traffik fra google.dk til dine websites kan gemmes.

 - 0 kr, - i månedlige udgifter.

 - Et datapunkt for hver besøgende. Så præcise data, ikke bare et gennemsnit.

 - Utroligt let at implementere, du behøver ikke at være programmør for at få det op på en ny website.

 - Integrerer let med databaser. Kræver kun lidt PHP / ASP ( afhængi af hvilket sprog websiten er bygget op i )

 - Let at oprette en browser baseret løsning til at se de gemte data fra databasen.

 - Integrerer let med Google Analytics. Vil du se placeringerne i Google Analytics, som du og dine medarbejdere kender rigtig godt? Ikke et problem.

 - Integrationen med Google Analytics giver dig nu Geo-location data. Du kan se hvis din hjemmeside rankerer #1 for bank for århusianske søgere, men #2 for københavnere.

 - Du kan også integrere det med de andre data i GA, såsom Landing Page, OS, new/returning visitor, sprog, skærm opløsning, browser etc.

Metoden har nogle få ulemper.

 - Det virker for Google, men ikke for yahoo eller bing. ( jeg ved ikke med resten )

 - For websites med lidt organisk traffik, kan det være svær at få nok datapunkter.

 - Du kan ikke selv vælge søgeordne, men er begrænset til dem websiten bliver fundet på.

 - Du er nødt til at have mulighed for at ændre en websites kode for at få metoden implementeret, så det er umuligt at måle konkurrenters placering.

Samlet mener jeg at det er en løsning, der passer godt til jeres behov. Mht. Pris så ved jeg godt hvor meget sådan en metode er værd for dig, men jeg er en venlig sjæl. Så lad os sige en 4-5 dages programmør løn. Det er 7,500 kr eks moms. Du har sikkert allerede brugt langt mere på ikke at finde en løsning. Og da jeg sagde det var let at implementere, så mente jeg det. Jeg tror der vil gå under 10 min fra du læser min .pdf, der detaljerer hvordan man bruger denne metode, til det er oppe at køre på den første website. Jeg leverer med Google Analytics integration, og du kan så selv integrere det med en database eller bare kigge på data i Google Analytics.

Glæder mig til at høre fra dig

 - Andreas

Hej Andreas, tak for dit dybdegående svar, som jeg sætter stor pris på.

Jeg er klar over at det strider imod Googles TOS med en webscraber, men jeg var ikke helt klar over, hvad der nøjagtigt hører under begrebet webscraber. Jeg troede ikke at alle 'SERP programmer' hørte under den kategori, men der tog jeg nok fejl.

Jeg undrer mig dog over hvad alle andre SEO folk i branchen gør for at lave SERP rapporter, men vi er måske ude i noget med "kunsten at røve en bank"? Så det må nok stå hen i det uvisse...

Dit forslag med at måle den organiske trafik til websitet på søgeordsniveau er desværre ikke tilstrækkelig til at dække det behov jeg har. Jeg er nødt til at kunne fremvise en historik, som viser placeringerne i SERPs på samtlige relevante søgeord for kunden. Selve trafikken sporer jeg allerede med Google Analytics (for ja, det er naturligvis også meget relevant at vide, hvor meget trafik de opnåede SERP placeringer genererer).

Men igen - 1000 tak for dit svar! Jeg må dog i tænkebox kan jeg se...

Input til problemstillingen er stadig meget velkommen.

Google WebSearch API har aldrig kunne bruges til at tjekke rankings, da det aldrig har givet de samme resultater, som dem almindelige brugere får. Iøvrigt kørte det til sidst fra blot en enkelt computer og var derfor hamrende langsomt, inden det blev nedlagt helt for længe siden.

Jeg har haft flere møder på Google med deres Webmaster Tools og Quality team hvor netop deres gamle WebSearch API har været på agendaen, men de har ike kunde bevise en tilstrækkelig ROI internt til at de har kunne få lov at fortsætte med det.

Stort se alle seriøse SEO virksomheder arbejder med scraping af Google og alle de andre store søgemaskiner i styørre eller mindre omfang og har altid gjort det. Og dem af os der har gjort den slags i over et årti ved også hvordan det klares helt uden nogle risici :)

Jeg synes ikke det her falder under noget hemmeligheds dekret

Tobias, det du skal have fat i er en eller flere proxy-servere til at rotere den IP du tjekker resultater fra.

Velbekomme.

Ok, jamen der er sikkert andre måder at gøre det på. Jeg bruger selv Ranktracker som er det eneste offentlig tilgængelige tool jeg synes giver korrekte resultater. Her har du muligheden for at bruge en proxy blandt andet. Det rent tekniske er jeg ikke ekspert i, men kan ikke se hvorfor det ikke skulle virke med et par danske proxier.