9 Ocak 2009 Cuma

Spam sitelerden gelen referrer problemi (?ref=spam-site)



Sitelerinizin sinsi düşmanı sayılan, benim tabirimle kene siteler tarafından üretilen ?ref=spamcisite.com şeklindeki linkler sitelere büyük zararlar vermektedir. Web sitesi olan ve SEO ilgilenen herkesin bildiği Sandbox'a girmeye kadar zararları mevcuttur. Siteleriniz üzerinden beslenen bu siteleri nasıl engelleriz?

Eğer hala güvende hissediyorsanız google'a girin ve aşağıdaki aramayı yapın.
site:sitenizinadresi.com ?ref=

Bu siteler sizi nasıl buluyor ve ne tür siteler?

Bu tip siteler genelde kendi veritabanları yada API ile türetilen arama sayfalarını kullanarak sizi buluyorlar. Ne tür siteler olduğuna dair liste yaparsak;

+ Siteleri önbelleğine kaydeden botları kullanan siteler.
+ Google yada diğer arama motorlarını kullanarak sonuçları listeleyen siteler.
+ Toplist ve dizinler (kötü niyetli olanları).
+ Bilimum çöp siteler.
+ Rakiplerini ekarte etmek isteyen site sahiplerinin oluşturdukları spam siteler.

Çözümüne ilişkin değişik platformlara özgün metodlar;
(Örnekler Turkwm.com üzerinden anlatılmıştır. Kendi site adresinizle değişmeniz gerekir)

1- Robots.txt kullanımı:
Bilindiği üzere arama motorlarının büyük bir kısmı Robots.txt dosyalarını okur.

User-agent: *
Disallow: /*ref*

2- .htaccess kullanımı:

RewriteEngine on
RewriteCond %{THE_REQUEST} \?(ref=.*)?\ HTTP [NC]
RewriteRule .? http://www.turkwm.com%{REQUEST_URI}? [R=301,L]

3- Php kullanımı:

$gonder=explode("?ref", $_SERVER['REQUEST_URI']);
$gonder= "http://".$_SERVER['SERVER_NAME'].$gonder[0];

if (eregi('ref=', $_SERVER['REQUEST_URI'])) {
header( "HTTP/1.1 301 Moved Permanently" );
header("Location: ".$gonder);
}

4- Asp Kullanımı:

<%On error Resume Next
set strURL = Request.ServerVariables("QUERY_STRING")
yolla = split(strURL,"ref=")
sayfa=yolla(1)

if not sayfa="" then
site="http://www.turkwm.com"
Response.Write("<script>"&VbCrlf)
Response.Write("document.location.href='"&site&"'; "&VbCrlf)
Response.Write("</script>"&VbCrlf)
Response.End
end if
%>

Sebepsiz yere sandbox'a girdiğinizi yada hitlerinizde ani düşüşler yaşıyorsanız mutlaka google üzerinden bu tür linklerin kontrolünü yapın.

Sandbox olmadan, bol hitli günler dilerim.