» » Как работают поисковые системы Яндекс и Google?

Как работают поисковые системы Яндекс и Google?

Продвижение сайта своими руками является одновременно простой и сложной задачей. Для человека опытного в этой теме раскрутка представляет собой набор простых и четких шагов, сводящихся, в большей степени, к механических действиям. Но для новичка, который только вчера узнал слово SEO и еще не разобрался в его значении, «победить» поисковые системы и конкурентов практически нереально.

Как работают поисковые системы Яндекс и Google

Прежде чем приступить к продвижению, необходимо понять, как работают поисковые системы Яндекс и Google. Можете считать эту статью вводной для моего курса по продвижению сайтов “Бесплатный трафик с Поисковиков”, поэтому рекомендую дочитать ее до конца, прежде чем начнете его изучать.

Задача поисковых систем

Интернет непрерывно растет и развивается, вместе с ним эволюционируют и поисковики интернета, но их главная задача остается неизменной – они должны помочь пользователю найти самый лучший ответ на запрос, который он ввел в поле для поиска. Чем более качественные результаты в выдаче показывает поисковик, тем больше ему доверяют люди. Чем больше людей ему доверяют, тем больше денег он может заработать на контекстной рекламе, но это я уже пошел в сторону…

Поисковые системы постоянно анализируют терабайты информации, размещенной на миллионах web страниц, стараясь при этом определить какие сайты заслуживают попадания в ТОП выдачи, а какие являются лучшими кандидатами для попадания в бан.

Как действует поисковая система?

Поисковик – это набор сложных программ и баз данных, которые действуют по определенному алгоритму. Упрощенно, этот алгоритм можно разбить на 3 этапа.

Этап 1. Поиск новых страниц

Вопреки заблуждению многих чайников, поисковые системы выдают информацию не о страницах, находящихся в интернете, а о страницах, находящихся в базе данных поисковой машины. То есть, если сайт неизвестен Яндексу или Goоgle, то и в выдаче он не появится.

Задача поисковика на этом этапе заключается в поиске всех возможных адресов страниц в интернете. Выполняет эту работу так называемый робот «паук». Интернет это ссылки, ссылки и еще раз ссылки и этот «паук» просто переходит по всевозможным ссылкам, записывая в свою базу адреса всех найденных страниц.

Попал на главную страницу сайта, на ней нашел ссылки на страницы рубрик, на страницах рубрик нашел ссылки на страницы со статьями, карточками товаров, ссылки на файлы или другой информацией. На каких-то из посещенных страниц одного сайта, он нашел ссылки на другие сайты – поисковая система переходит по ним и сканирует все, что нашла там.

Прекрасно помогают роботам для ориентирования файлы Robots.txt и карты сайта Sitemap.xml, их надо обязательно сделать, особенно, если сайт имеет много страниц. Тут смотрите, как правильно сделать Robots для WordPress, а про настройку Sitemap расскажу чуть позже.

Задача робота создать адресный справочник по типу – Город, Улица, Дом, Квартира.

Если ваш сайт долгое время не появляется в поисковиках, возможно, его не может найти робот, в этом случае вам поможет моя статья о том, как ускорить индексацию страниц сайта.

Этап 2. Индексация

Как я уже написал выше – в поисковую выдачу попадает информация не с сайтов, находящихся в интернете, а информация из базы данных поисковой системы. И следующая программка поисковика как раз занимается добавлением информации в базу. Она путешествует по всем известным адресам сайтов и страниц, копируя их содержимое на склады поисковой системы.

Называется этот процесс индексация – попадание информации в индекс поисковой системы.

Первый и второй процессы протекают непрерывно и, зачастую, одновременно. Постоянно пополняется база адресов страниц и база информации с этих страниц.

Кстати, в процессе индексации поисковые системы оценивают качество страниц, и информация некоторых из них не попадает в индекс. Как бы поисковик знает об их существовании, но по каким-то причинам считает их бесполезными для пользователя, поэтому не добавляет в выдачу – зачастую это не уникальный контент или служебные страницы. Как проверить тексты на уникальность онлайн смотрите тут.

Этап 3. Определение релевантности и ранжирование

Если то, что мы обсудили в предыдущих пунктах, работает непрерывно и независимо от внешних факторов (действий человека), то третий этап в алгоритме работы поисковых систем начинает действовать только под воздействием человека.

Когда в поисковике задается запрос, система начинает искать на него ответ в наполненной базе знаний по критериям, заданным человеком в этом запросе (как узнать самые популярные запросы в Яндексе).

Сначала, система делает выборку, определяя все релевантные запросу страницы из известных (Релевантные – значит соответствующие, подходящие. Как проверить релевантность страниц сайта я писал тут). Например, для запроса «купить холодильник Норд» релевантными будут страницы содержащие слова «купить», «холодильник», «Норд». Все страницы, содержащие одно или несколько из этих слов, попадут в выдачу поисковой системы.

Следующая задача поисковика, определить в какой последовательности пользователь увидит все эти страницы – их необходимо ранжировать. Факторов, которые будут влиять на порядок выдачи много, но если по-простому, то сначала пользователь увидит страницы содержащие «купить холодильник Норд», если таких нет, то ему будет предложено «купить холодильник» или «холодильник Норд» и в самом конце будут страницы со словами «купить», «холодильник», «Норд».

Факторы, влияющие на ранжирование

Как я уже сказал выше, факторов, влияющие на порядок расстановки страниц сайтов в выдаче поисковой системы много, по словам руководителей Яндекс, их более 700. Цифра внушительная и раскрыть их все не представляется возможным. Более того, все эти факторы неизвестны ни одному сеошнику, так как поисковики держат их в тайне. Но в общих чертах эти факторы можно разделить на три группы.

1. Внутренние факторы

К этой группе относятся факторы, на которые способен повлиять сам вебмастер. В их число входит сам текст, размещенный на странице, его оформление (абзацы, заголовки и другая разметка) – читайте как правильно писать и оформлять статьи. К ним же относятся картинки внутри текста и оформление самого сайта. Ссылки, которые размещаются внутри сайта на различные страницы (внутренняя перелинковка) также относятся к внутренним факторам.

2. Внешние факторы

В целом, эта группа факторов определяет популярность конкретного сайта по мнению других ресурсов интернета. Определяется эта популярность количеством и качеством сайтов, на которых проставлены ссылки на различные страницы вашего сайта, а также упоминания о нем в тексте. Поисковые системы оценивают эту авторитетность по сложной схеме, учитывающей очень большое количество факторов.

Кроме того, ко внутренним факторам поисковые системы причисляют различные социальные сигналы, типа ретвиты, лайки, репосты в ВК, Фейсбук или Одноклассники (Про то, как бесплатно накрутить лайки в ВК я писал тут).

3. Поведенческие факторы

Поведение пользователей в интернете поисковые системы умели отслеживать не всегда. Популярность эта группа факторов начала набирать сравнительно недавно. Различные счетчики статистики и специальные бары в браузерах собирают массу информации о поведении людей на сайтах. По этим данным Яндекс и Google определяют степень значимости сайтов для живых людей. Если на страницах вашего сайта низкий показатель отказов – надолго задерживаются посетители, внимательно читают качественные статьи, переходят по внутренним ссылкам и делают разные другие вещи, значит он людям нравится и достоин размещения на более высоких позициях поисковой выдачи.

Почему Яндекс долго индексирует сайты

Многие из вас обращали внимание на то, что индексация новых страниц Яндексом, как правило, занимает больше времени, чем у Google. Связано это с тем, что новые страницы, найденные поисковыми роботами попадают сначала в общую базу страниц и только после обработки и фильтрации она оказывается в пользовательской выдаче.

Гугл старается проводить процесс переноса новых документов в выдачу непрерывно. В свою очередь Яндекс накапливает новый страницы, обрабатывает их и потом одной общей пачкой отправляет в пользовательскую выдачу. Происходит это один раз в несколько дней (в среднем неделя) и называется эта процедура апдейт (АП). Почти всегда, апдейты проходят ночью, когда нагрузка на сервера поисковой системы минимальна.

По такому алгоритму новая страница попадает в базу данных поисковика (на это может уйти несколько дней), дальше эта страница ждет своей очереди пока информация на ней будет обработана и пройдет ранжирование по релевантным запросам (проходит еще один апдейт) и только на следующий апдейт выдачи новый документ появляется в основном индексе.

Таким образом, некоторые страницы могут ждать своей очереди довольно долго.

Теперь вы знаете, как функционируют поисковые системы и можете приступать к работе над вашими сайтами. Создайте релевантную нужному запросу страницу, дайте поисковику ее проиндексировать и помогите ранжировать ваши страницы выше конкурентов.

  1. 5
  2. 4
  3. 3
  4. 2
  5. 1
(18 голосов, в среднем: 4.3 из 5)

10 комментариев на «“Как работают поисковые системы Яндекс и Google?”»

  1. Николай:

    Пока наткнулся на вашу статью перечитал всю первую страницу в Яндексе про работу поисковых систем. Написано там конечно много, но большая часть скопирована с технического руководства того же самого Яшки – разобраться с ним может только специалист.
    Из статей для чайников ваша оказалась самой доступной для понимания – все по полочкам разжевано.

    Ответить
  2. Светлана:

    Из вашей статьи я поняла, как работают поисковики. У меня есть вопрос от “чайника”) я очень часто пользуюсь яндекс поиском, но чтобы найти то что мне надо у меня уходит уйма времени, на не нужные мне сайты в поисках информации. Видимо я не правильно ввожу запросы. Отсюда вопрос: как правильно вводить вопрос? Может я много лишних слов пишу в строке поиска? Да кстати вашу статью я тоже не сразу нашла)) хотя мне и объяснили что за статью мне надо искать))

    Ответить
    • Дмитрий Жилин:

      В целом, поиск яндекса работает неплохо, нужно только приноровиться.
      Есть у него специальный синтаксис для уточнения запросов, но в большинстве случаев вам пригодится 2 правила:
      1. Размещение текста, который вы ищете в кавычках – в результатах будут только документы с точной цитатой (похожие не будут показываться, только точные). Это полезно, если вы ищете точный документа.
      2. Использование перед словом знака +. Все слова, перед которым стоит + должны обязательно присутствовать в найденных документах.

      Есть еще много интересных возможностей, рекомендую почитать о них тут – help.yandex.ru/search/query-language/search-context.xml

      Ответить
  3. Андрейка:

    Дмитрий, я читал, что информация в социальных сетях закрыта от поисковых роботов, но иногда в яндексе попадаются ссылки на страницы людей или какие-то группы.

    Так все таки видят поисковики то, что я публикую у себя вконтакте или нет?

    Ответить
    • Дмитрий Жилин:

      И них интересные алгоритмы на этот счет, и отношения к соц сетям постоянно меняется.
      Считайте так:
      – поисковики точно видят то, что доступно не зарегистрированным пользователям (общедоступные страницы)
      – выкладывают в индекс они только часть видимых страниц (по какому-то своему алгоритму)

      Ответить
  4. Жан:

    Благодарю! Очень полезно!

    Ответить
  5. Ната:

    Спасибо. Отличный сайт!

    Ответить
  6. Владимир:

    Здравствуйте, Дмитрий! Не могли бы Вы проконсультировать человека абсолютно далёкого от интернет-технологий? Далёкого настолько, что мои познания в этой отрасли можно смело сравнить с познаниями забулдыги-сантехника в области квантовой механики. Но вот с некоторых пор меня не покидает мысль обзавестись собственным текстовым сайтом. Преследуемая цель – это не только возможность общения с аудиторией при помощи интернета, но и получение какого-то денежного дохода. Хотелось бы, чтобы во время запроса мои тексты выдавались по принадлежности к определённой теме, которую можно обозначить двумя-тремя ключевыми словами. Думаю, что эти слова необходимо разместить в адресной строке (кстати, адресная строка и доменное имя – это одно и то же или это разные вещи?). Но проблема состоит в том, что в самих текстах вышеупомянутые ключевые слова отсутствуют. В связи с этим у меня к Вам два вопроса: 1) сможет ли поисковая система проиндексировать мои тексты и выдать их по запросу пользователей? 2) поддаются ли такие тексты оптимизации и продвижению их в первую десятку?
    Дмитрий, если Вас не затруднит, пришлите Вашу консультацию на мою электронную почту. Заранее Вам благодарен.

    Ответить
  7. Дмитрий Жилин:

    1. Теоретически поисковики могут выдать по запросам тексты, не содержащие в точности такой запрос (нейронные сети умеют распознавать смысл по синонимам и т.д.), но на практике высоко в топ попасть вряд ли получится.
    2. Любые качественные тексты, отвечающие на запрос пользователя поддаются оптимизации. Как её сделать можете прочесть в моей статье https://biznessystem.ru/kak-pravilno-pisat-stati-seo-optimizirovat-staty/

    PS: Адресная строка – это поле в браузере, куда вводится адрес страницы. Доменное имя – это адрес сайта в интернете (его главной страницы).

    Ответить
  8. Александр Зырянов:

    Полезная информация о работе поисковиков. Взял на заметку несколько моментов, спасибо

    Ответить

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *