Google bot veya başka bi spider sittene girdiğinde direk hangi linkleri bulup gittiğini oğrenebiliyoruz sanırım

http://www.gritechnologies.com/tools/spider.go

tam bende cozemedim burayı ama sanki cok faydalı bişeymiş gibi geldi bana