Поисковые системы: день сегодняшний

На прошедшей в Москве второй ежегодной конференции "Поисковая оптимизация и продвижение сайтов" представители российских поисковиков поведали о своей текущей работе. Главные итоги: "Рамблер" стал "разноцветным", Mail.ru доволен сотрудничеством с Google, а "Апорт" продолжает делать упор на качество, а не на количество.

Наиболее важное событие, произошедшее со времён прошлогодней конференции – это выход "Яндекса" и "Рамблера" на самоокупаемость. Вывод: поиск в Интернете является делом прибыльным. В пользу этого говорит и намерение Google начать торговать своими акциями на фондовой бирже. Более того, по мнению некоторых экспертов, приход Google на биржу сможет возродит интерес инвесторов к hi-tech-рынку.

Как и год назад, самой популярной в России поисковой службой остаётся "Яндекс", на долю которого, по различным оценкам, приходится о 45 до 55% поисковых запросов в Рунете. В результате в обществе стали даже проходить дискуссии о социальной ответственности крупнейшего российского поисковика.

Между тем, о каких-либо изменениях в работе поиска на "Яндексе" во время конференции не говорилось. Президент компании "Яндекс" Аркадий Волож отсутствовал (в шутку было высказано предположение, что причина отсутствия кроется в переходе "Яндекса" на оплату контекстной рекламы за клик, тогда как на прошлогодней конференции Волож всех убеждал в преимуществах оплаты за показ), а технический директор Илья Сегалович рассказывал лишь об общем состоянии дел в мире поисковиков.

Сегалович отметил переход поисковых систем во второе поколение.  Поисковики первого поколения основывались на классических алгоритмах нахождения текстовой информации. Их суть заключается в том, что чем чаще слова из поискового запроса встречаются в документе, тем лучше данный документ соответствует запросу.  Учитывая специфику Интернета, к таким технологиям были также добавлены такие функции, как группировка страниц с одного сайта, удаление копий документов, учёт HTML-форматирования и другие. Однако этого оказалось мало, и возникла необходимость в изменении алгоритмов. Первым такую "переработку" произвёл в 1998-ом году Google, создав революционную технологию PageRank, работающую не только с содержанием страницы, но и  с текстом ведущих на неё ссылок. В настоящее время модифицированные версии PageRank используются всеми крупными поисковиками мира.

По мнению главного редактора издания SearchEngines.ru Сергея Петренко, второе место в Рунете после "Яндекса" принадлежит "Рамблеру" с долей аудитории в 20 – 30%. На заре российского Интернета это был самый популярным поисковик, но затем пальма первенства отошла к "Яндексу", из-за чего поиск не стал позиционироваться как главный сервис созданного в 2000-ом году портала.  Тем не менее, в том же году началась масштабная перестройка поисковых технологий "Рамблера". Поскольку "терпеть" старый поиск уже не представлялось возможным, новую, недоделанную версию запустили в конце 2000-го года.

Позднее был произведён шаг в сторону распределённой обработки, состоящий в разделении поисковых машин на те, что собственно производят поиск, и те, что навешивают к результатам поиска "мишуру", строя цитаты и подставляя названия документов. Однако полные копии поискового индекса по-прежнему продолжали храниться всеми компьютерами, осуществляющими поиск, что создавало всё больше и больше проблем. Но теперь преодолён и этот недостаток. Как рассказал ведущий разработчик "Рамблера" Андрей Коваленко, обрабатываемый сегмент Интернета был разбит на непересекающееся множество сайтов, которые назвали "цветами" по аналогии со спектром белого цвета. Разные "цвета" расположены на разных группах машин, что позволило производить по ним поиск параллельно с объединением результатов от различных компьютеров. В результате теперь обновления поисковой базы и включения в неё новых сайтов происходят гораздо быстрее, чем раньше. При этом частота обновления у каждого "цвета" своя. Чаще всех – два раза в сутки - переиндексируются ресурсы, лидирующие в рейтинге Rambler TOP100.

Этот рейтинг также используется и ссылочным алгоритмом. Таким образом, если, например, PageRank учитывает только мнение веб-мастеров, то технология "Рамблера" принимает во внимания и предпочтения обычных пользователей Сети, ведь они, "как правило, не занимаются созданием сайтов". Ещё одно новшество связано с поддержкой Flash-страниц. Хотя размещённые в них тексты, из-за своей малой информативности, в индексы всё равно не попадают, теперь из Flash-объектов извлекаться гиперссылки. Что касается планов на будущее, то в них значится  усиление распределённости за счёт кластеризации результатов поиска.

В последнее время "Рамблер" резко усилил борьбу с теми, кто, с целью попадания своих сайтов на высокие места в результатах поиска, использует так называемые "антипоисковые технологии". Смысл их применения состоит в том, чтобы выдавать поисковых роботам иную информацию, нежели обычным посетителям. Таким образом, можно, например, завлечь пользователей, которые ищут в  Интернете "порно", на сайт, не имеющий к этому запросу никакого отношения. Но если "псевдопорнографический" ресурс будет пойман модераторами поисковой системой, то его ждёт жестокая кара – исключение из базы данных поиска, и, следовательно, из его результатов. Однако не все считают подобное наказание адекватным, ведь "тем самым наказываются владельцы сайтов, которые не разбираются в Интернете и понятия не имели о том, что нанятые ими веб-мастеры используют в своей работе запрещённые методы раскрутки". На это администрацией "Рамблера" был дан жёсткий ответ, сведшийся к аналогии с металлургией: "Представьте себе, что металлургическая компания начнёт продавать сено под видом чугуна, а потом ее руководство станет оправдываться тем, что оно ничего не понимает в металлургии. Какого будет отношение на рынке к такой компании?"

На третьем месте среди поисковых сервисов Рунета, по расчётам Сергея Петренко, находится "Апорт". По словам его руководителя Михаила Костина, "Апорт" не ставит своей целью соревноваться с другими поисковиками в количестве проиндексированных документов. Такую позицию Костин поясняет тем, что "значительная часть страниц в Интернете не представляет никакого интереса для пользователей вообще. К ним относятся заброшенные сайты, информация на которых безнадёжно устарела, наспех сделанные личные страницы, архивы чатов и досок объявлений и т.д.". Данную проблему "Апорт" пытается решить с помощью механизма квотирования, ограничивающего для каждого сайта количество подлежащих индексированию страниц. Причём квоты устанавливаются как на ресурс в целом, так и отдельно на динамические страницы с него. Единственным признаком "динамичности" является наличие в адресе символа ‘?’. В текущем году квоты были значительно расширены, а от отдельных квот на "динамику" вообще планируется отказаться. Многие присутствующие спрашивали об исчезновении функции проведения поиска только по определённым сайтам. "Удаление фильтра по сайтам было сделано в виду технических причин, и возвращать его мы сейчас не намерены" - сообщил Костин.

На четвёртом месте, после "Апорта", в российском Интернете находится американский Google с примерно 15%-ной аудиторией. Основной его минус для русскоязычных потребителей заключается в отсутствии морфологии. Google заявил, что не собирается вводить поддержку морфологии, в связи с чем один из выступающих сравнил его с Коммунистической партией, "которая выступает против частной собственности и также стабильно имеет свои 15%".  

Между тем, Mail.ru отказался от покупок результатов поиска "Рамблера" в пользу Google. Mail.ru – это новый игрок на поисковом рынке. На вопрос, зачем вообще порталу поисковик, если на нём и так представлены все необходимые сервисы, вице-президент самого популярного российского почтовика Татьяна Желонкина ответила, что "расчёт, когда посетители будут обходиться только тем, что есть на портале, себя не оправдал". Однако поскольку разрабатывать собственную поисковую систему очень дорого, Mail.ru решил заключить договор с Google. Согласно нему, поисковые запросы передаются Google, где они и обрабатываются, а результат возвращается Mail.ru, который встраивает их  в свои страницы. При этом логотип Google отсутствует, так что некоторые пользователи даже поблагодарили Mail.ru "за хороший поиск, не уступающий Google". Отсутствие необходимости в показе логотипа стало одной из причин, из-за которых Mail.ru прекратил подобное сотрудничество с "Рамблером".

На прошедшей конференции отсутствовали представители Turtle. В прошлом году эта поисковая машина от создателей "Рамблера" громко заявила о себе в Рунете, "хвастаясь" своей распределённой архитектурой и вложенными инвестициями. Однако, по мнению Сергея Петренко, сейчас уже можно говорить о смерти Turtle, и это доказывает тот факт, что качественный поиск без продвижения не может иметь успеха.