Бот MSNBot можно опознатьMSN рассказывает, как MSN-боты могут быть опознаны. Сообщениям роботов или браузеров в служебных логах не всегда можно доверять. Записи можно легко подделать, и от этого страдает статистика. Краулер от поисковой системы MSN может представить себя, например, как MSN-бота. Эта строка в веб-логе не является гарантией того, что это действительно настоящий робот от MSN. Поэтому компания MSN дает следующие указания: Существует несколько краулеров для различного контента. MSNBot регистрирует основанный на тексте контент для сайта Live.com. MSNBot-Media регистрирует изображения и другие файлы средств массовой информации для images.live.com. MSNBot-NewsBlogs производит регистрацию сообщений и блогов в search.live.com/news. MSNBot-Products просматривает товары и шоппинг на products.live.com. MSNBot-Academic производит академический поиск в academic.live.com. Настоящих MSN-ботов можно узнать следующим образом: 1. Для запроса веб-страниц вышеупомянутыми роботами делается соответствующая пометка для User-Agent. Все запросы MSN содержат слово «MSNBot». 2. С помощью системы DNS Lookup можно выяснить, кто находится за IP-адресом. У краулеров есть свое хост-имя. 3. Все домены MSN-ботов кончаются на search.live.com. Если система просмотра домена показывает другое имя, то речь идет не о краулере MSN. 4. С помощью так называемого Forward DNS можно установить, в самом ли деле IP-адрес соотносится с доменом. Если данные, указанные под пунктами 2 и 3, не соответствуют друг другу, то IP-адрес является фальшивым. MSN также поощряет владельца веб-сайта к тому, чтобы он послал сообщение об ошибке HTTP в случае столкновения с фальшивым краулером. Написал - admin
Уважаемый посетитель, Вы зашли на сайт как незарегистрированный пользователь. Мы рекомендуем Вам зарегистрироваться либо войти на сайт под своим именем.
|
• Личный кабинет
• Календарь
• Аналитика
• PR-технологии
• Интервью
• Статьи
• Архив
• TL
|
Опросы
Интересно мнение каждого
Ваши интересы в интернет бизнесе
Последнее
Смотри в прямом эфире
Компания Mozilla изменила стратегию партнерства с поисковыми системами.
Теперь, в зависимости от страны, строка поисковика будет указывать
разные компании. В России это станет Яндекс, Китае – Baidu, США – Yahoo.
При этом пользователю будут предложены и другие варианты на выбор,
которые можно увидеть в качестве альтернативных: Wikipedia, Ozon.ru,
Google, DuckDuckGo и т. д.
Конкурсы с сети
А на что способен Ты?
10 октября был дан старт конкурсу "BestMasterиZация" с призовым фондом более 60000 wmr. Название конкурса невменяемое, но что же поделать, в этом есть своя изюминка.
Навигация
Карта сайта
|