Gözlemliyorum ki yahoo indexlenmesini istemediğim sayfaları da indexliyor. indexlenmesini istemediğim sayfalara noindex meta tagını koyduruyorum. Sanırsam bu meta tagı googlenin bir icadı. Yine sanırsam yahoo da googlenin diye bu metayı tanımıyor. Ancak yahoo böyle düşünmeye devam ederse web masterlar tarafından hiçbir zaman kaâle alınmaz ve hep kullanılmayan arama motoru olarak kalır. Yahoo web masterlardan başka kod eklemelerini bekleyip başlarına iş açarsa web masterlar googleye 4 elle sarılır. Önce 1 numara olacaksın ki sonra insanlar sana ayak uydurmaya çalışsın.

robots.txt kullanarak istedigin url patternini robotlarin taramasini engelleyebilirsin.