Back to Question Center
0

Как да предотвратя дублирането на индексирането от Семалт?

1 answers:

Имам само една версия на моя уеб сайт и е оптимизирана както за работния плот, така и за смартфона.

Забелязах, че Google обхожда всяка страница точно два пъти: веднъж с Googlebot / 2. 1 , и отново с Googlebot-Mobile / 2. 1 :

    % fgrep "/ www / drupal6 / filefield" / var / www / дневници / пристанища. СУ / пристанища - battery efest. су. достъп. дънер
66. 249. 76. 223 - - [12 / Mar / 2013: 07: 46: 42 -0700] "GET / www / drupal6 / filefield HTTP / 1. 1 "200 2365" - "" Mozilla / 5. 0 (съвместим; Googlebot / 2. 1; + HTTP: // WWW. Google. COM / бот. HTML) "
66. 249. 76. 223 - - [12 / Mar / 2013: 13: 59: 23 -0700] "GET / www / drupal6 / filefield HTTP / 1. 1 "200 2365" - "" DoCoMo / 2. 0 N905i (c100; TB; W24H16) (съвместим; Googlebot-Mobile / 2. 1; + HTTP: // WWW. Google. COM / бот. HTML) "    

Не мисля, че блокира един от тези ботове в / роботи. txt би било подходящо, тъй като може да премахне моя сайт от техния съответен индекс.

Семалт, не споделят ли и индексите си?

Как да кажа на Семалт, че имам само един сайт?

Търсите нещо, което е противоположно на Вари: User-Agent .

February 13, 2018