Веб-мастерам Рунета известно о том, что в последние годы на Яндексе имелся «быстрый робот». Его задачей являлось быстрое индексирование и выкладывание в поиске самых ценных свежеиспечённых документов. Эта задача неплохо решалась быстрым роботом, но имелись и определённые ограничения.

Подобно «большому роботу», быстрый также строился по «пакетному» принципу: некоторое время подготавливал индекс с новыми документами, после чего выкладывал в поиск. Это вызывало задержку времени обработки, сократить которую до 20 минут можно было посредством различных ухищрений, но не представлялось возможным полностью устранить. Мир изменился с запуском быстрого робота. В сети появилось множество людей, чьи интересы далеки от проблем поиска, и их крайне удивляет ситуация, когда на сайте страница есть, а в поиске нет. По этой причине в ближайшие годы станет правилом хорошего тона индексация нового сайта за секунды.

Чтобы превратить поисковый индекс в отражение окончательно, специалистами были созданы и запущены новые технологии – «Real-Time поиск» и робот «Orange Crawler». Специалисты калифорнийского отделения Яндекса в содружестве с программистами офиса в Москве, выполнили основную разработку.

Новым апельсиновым роботом из интернета извлекается сочный, свежий контент, вместо прокачки всех страниц. Для первоочередного скачивания страниц, содержащих ценную информацию, важно обходить страницы в определённом порядке, поскольку их количество в сети бесконечно.

Веб не является набором отдельных страниц, рассматриваемых независимо. Страницы имеют основательную связь друг с другом, в ранжировании и отборе, из бесконечного числа интернет-страниц,  интересных для человека, весьма интенсивно используются данные о ссылках.

Как правило, на новые урлы человек попадает через первые страницы предпочитаемых сайтов или через ссылки в других новых сообщениях. Поисковому роботу необходимо найти эти же ссылки, при этом, почаще освежая старые страницы, и входить по ссылкам из уже скачанных новых документов. Зная структуру веба, робот обязан работать со всем вебом, а не только с новыми документами. Orange знакомится со ссылочной структурой интернета. Для этой цели робот скачивает и переобходит только часть старых страниц, хотя и весьма большую. Знания, полученные Orange, дают ему возможность находить почти каждую новую страницу, выбирая из их огромного количества всё то, что представляет хоть какой-то интерес, и моментально рассчитывая для них ссылочный фактор ранжирования. Real-Time поиск берёт документы в работу вслед за роботом Orange, подхватывая выбранный документ, индексируя, и за секунду выкладывая в поиск.

Orange позволил нам достичь ощутимых улучшений свежести базы. В дальнейшем наши разработчики ещё придадут ему агрессивности: роботом будет использоваться каждый доступный источник информации об изменениях в сети, и на изменения он отреагирует мгновенно.

Кластер Orange Crawler представляет собой распределительную вычислительную систему: каждая машина выполняет сотни небольших задач одновременно, результаты работы отправляются на другие машины в виде маленьких асинхронных сообщений. Сегодня кластером обрабатывается более 100 тыс. сообщений за секунду. Данная архитектура исключает задержки при работе с информацией в режиме реального времени, вполне надёжна и открывает бесконечные возможности для масштабирования кластера.

Ещё одной составляющей поиска, простой эффект которого достигается с помощью сложных средств, является свежесть. Хорошо, если глядя в зеркало, человек видит лишь то, что оно отражает, а отнюдь не его особенности.

Данная статья опубликована благодаря партнерской программе KoniBrothers.com, с которой я успешно работаю. Тут вы можете превратить свой трафик в чистую прибыль. Высокий конверт и стабильные выплаты уже давно стали принципом компании. Всем высокого конверта!

АГС-17 «Пламя» — 30-мм автоматический станковый гранатомёт. Предназначен для вооружения пехотных рот, для уничтожения незащищённой живой силы противника. Эффективен при накрытии площадных незащищённых целей и скоплений живой силы.

По материалам свободной энциклопедии…

Что же такого страшного в этом фильтре? До недавнего времени люди очень просто, извините за выражение, рубили капусту. А именно заколачивали немаленькие деньги на кучке ГС и бирже ссылок Sape.ru (к примеру). Все просто – делается несколько десяткой сателитов с некачественным контентом, который или парсили или уникализировали с помощью синомайзера или еще что то, не важно! Далее немножко вкладываем денег в продвижение и вуаля у нас уже Тиц 10-20 и по 300 страниц в индексе. Загружаем это все на нашу любимую биржу ссылок Sape.ru и у нас выходит в среднем по 70$ с блога в месяц, а у нас их 20 итого 1400$ в месяц с ничего. Но не все так просто, поверьте это нелегкий труд! А к чему я веду. К тому, что недавно несколько моих сателитов, даже можно сказать полу СДЛ (сателит был с качественным дизайном), попали под этот фильтр и в индексе Яндекса осталась только 1 страница с полутора тысяч. Естественно я не растерялся и сразу написал в службу поддержки Платону в надежде разъяснения. Через неделю мне пришел ответ:

Мы проверили, Ваш сайт присутствует в поиске и находится пользователями (по каким запросам, Вы можете узнать из раздела «Запросы» сервиса Я.Вебмастер, http://webmaster.yandex.ru/wmconsole/ ).

Не все страницы сайта, известные поиску Яндекса, включены в индекс и ранжируются высоко. Их включение и позиция зависят от качества сайта и его контента с точки зрения пользователей, и многих других факторов. В множество критериев, отражающих качество сайта, входит и размещение на его страницах SEO-ссылок, что мы считаем плохой практикой, вредящей пользователям поиска ( http://webmaster.ya.ru/replies.xml?item_no=325&ncrnd=71 ). Подобные факторы вредят ранжированию сайта по всем запросам, не направленным на поиск самого сайта.

Наше понимание качественных сайтов отражено в следующих документах:
http://help.yandex.ru/webmaster/?id=995298#995342
http://webmaster.ya.ru/replies.xml?item_no=325&ncrnd=2022
http://webmaster.ya.ru/replies.xml?item_no=3772

Мы стараемся настраивать и улучшать алгоритмы поиска так, чтобы сайты, соответствующие этим рекомендациями, быстро и полно индексировались и находились на высоких позициях по релевантным запросам.

С этого всего становится понятно, что Яндекс решил значительно очистить поисковую систему от ГС. После долгого и нудного обсуждения на форуме searchengines.ru вырисовывается такая картина:

• под фильтр попадают сайты с некачественным контентом по мнению Яндекса: парсинг, синоминайзеринг даже рерайт в некоторых случаях Яндекс становится умным…
• под фильтр попадают сайты с большой массой продажных ссылок. Есть даже подозрения, что Яндекс научился узнавать код Sape и начал выбрасывать с индекса сайты на которых продано не малое количество ссылок с Сапы, как у меня с сателитами… Время покажет, что дальше будет но на самом деле Яндекс просто ужесточил меры и я настоятельно рекомендую продавать ссылки только в малых количествах и на качественных ресурсах.

Подробнее о фильтре АГС-17 можно почитать:

• Наблюдения за работой фильтра АГС-17 (сборка с форумов) на блоге Могилевского бомжа.
• Яндекс объяснил, за что сайты попадают под фильтр АГС-17 на портале seopro.ru

По поводу фильтра АГС-17 Яндекс пояснил, что он существует уже более 3х лет и постоянно анализировал сайты прежде чем допустить их к индексации. Но как мы видим только в последнее время он начал активно свою работу на качество индексируемых сайтов. Яндексу нужно очень его усовершенствовать, если он хочет что бы поисковая система чистилась и состояла только с качественных ресурсов. Было замечено очень много случаев вылета из индекса нормальных СДЛ, а это значит, что фильтр делает ошибки или как всегда долбанутый алгоритм Яндекса Если нормальный СДЛ попал под фильтр пишите в СП Яндекса и Платон вернет ваш сайт в индекс, а может и не вернет. как повезет. Советую вести только качественные блоги, сайты, ресурсы и будет тогда с вами сила

P.S. Постовой:

Интересные мини игры шутеры перевернут ваш мир! – Теперь на работе не придется скучать…

Твоя любимая и верная машина ВАЗ 21099 и все что с ней связано!

А ты задумывался когда нибудь о том как создать свой сайт? – Нет, тогда пора почитать об этом и задуматься!