Пошукові системи є найбільше ефективним засобом залучення відвідувачів на Ваш сайт, тому ви повинні дуже добре знати принципи їхньої дії й уміти максимально можливо підлаштовувати свій сайт під них

  1. Навіщо потрібне розкручування сайту в пошукових системах?;
  2. Роботи пошукової системи;
  3. Як працюють роботи пошукової машини?;
  4. Як вони читають сторінки вашого web-сайту?;

   Навіщо потрібне розкручування сайту в пошукових системах?
    пошук клієнта через мережу дешевше, ніж різними офлайновими засобами. Якість трафіку забезпечується правильно підібраними ключовими словами
   Відвідувач, що цілеспрямовано щось шукав за допомогою пошукової системи, є більш цінним і більш цільовим, ніж відвідувач, що просто натиснув на гарне, захоплююче зображення, або перейшов по якомусь посиланню
   Відвідуваність сайту, забезпечена банерною або іншими видами реклами, різко падає із закінченням рекламної кампанії. У порівнянні із цим пошуковий трафік має безсумнівну перевагу - індексація сторінок сайту пошуковими системами дає стабільний потік нових відвідувачів протягом усього часу існування сайту. Тому зусилля, спрямовані на розкручування сайту в пошукових системах, окупаються дуже швидко.
   Однак перш, ніж приступати до читання подальшого матеріалу, ви повинні знати, що якщо ваша інформація нікому не потрібна, якщо ваш сайт завантажений графікою й користувачі повинні чекати по кілька хвилин, перш, ніж вони щось побачать, якщо в навігації по вашому сайту важко розібратися й користувачі плутаються в його структурі, якщо ви роками не обновляєте свій сайт, знайте, що навіть при найкращій рекламі й найкращій оптимізації сайту для пошукових систем всі ваші зусилля зрештою виявляться марними
   Роботи пошукової системи
   Роботи пошукової системи ("Web-Павук", павук, спайдер, краулер) - програма, що є складовою частиною пошукової системи й призначена для обходу сторінок Інтернету з метою занесення інформації про їх (ключові слова) у базу пошуку.
   По своїй суті павук найбільше нагадує звичайний браузер. Він сканує вміст сторінки, закидає його на сервер пошукової машини, якій належить і відправляється по посиланнях на наступні сторінки. Крім звичайних павуків, існують так звані "дятли" - роботи, які "простукують" проіндексований сайт, щоб визначити, що він підключений до інтернету.
   Порядок обходу сторінок, частота візитів, захист від зациклення, а також критерії виділення ключових слів визначається алгоритмами пошукової машини.
   У більшості випадків перехід від однієї сторінки до іншої здійснюється по посиланнях, що втримується на першій і наступній сторінках.
   Роботи не розуміють фреймів, Flash анімацій, зображень або JavaScript. Вони не можуть зайти в розділи, захищені паролем і не можуть натискати на всі ті кнопочки, які є на сайті. Вони можуть "заткнутися" у процесі індексування динамічних адрес URL і працювати дуже повільно, аж до зупинки й безсиллям над JavaScript-Навігацією.
   Також багато пошукових систем надають користувачеві можливість самостійно додати сайт у чергу для індексування. Звичайно це істотно прискорює індексування сайту, а у випадках, коли ніякі зовнішні посилання не ведуть на сайт, взагалі виявляється єдиною можливістю заявити про його існування.
   Обмежити індексацію сайту можна за допомогою файлу robots.txt, однак деякі пошукові системи можуть ігнорувати наявність цього файлу. Повний захист від індексації забезпечується механізмами, обійти які поки павукам не під силу. Звичайно - установкою пароля на сторінці, або вимогою заповнити реєстраційну форму перед тим, як одержати доступ до вмісту сторінки
   Більшість користувачів інтернету шукають інформацію про потрібні товари й послуги, вдаючись до допомоги провідних пошукових систем, таких як Yandex, Rambler, Google, Aport. Ці розвідувачі дають сайту 60%, 17%, 15%, 2% відвідувачів - відповідно. При цьому майже 90% всіх користувачів задовольняються результатами видачі першої "Десятки" по заданих запитах, і тільки 10% користувачів ідуть на другу сторінку й менш 3% далі. Саме тому Вам так важлива оптимізація сайту для влучення його в "Десятку" видачі по запиту, і особливо Яндекса! Тому реєструватися в найбільш значимих пошукових системах потрібно вручну. Використовувати для цього автоматизовані сервіси не рекомендується
   Як працюють роботи пошукової машини?
   Пошукові роботи варто сприймати, як програми автоматизованого одержання даних, що подорожують по мережі в пошуках інформації й посилань на інформацію
   Коли, зайшовши на сторінку "Submit a URL", ви реєструєте чергову web-сторінку в розвідувачі - у чергу для перегляду сайтів роботом додається новий URL. Навіть якщо ви не реєструєте сторінку, безліч роботів знайде ваш сайт, оскільки існують посилання з інших сайтів, що посилаються на ваш. От одна із причин, чому важливо будувати посилальну популярність і розміщати посилання на інших тематичні ресурсах
   Заходячи на ваш сайт, роботи спочатку перевіряють, є чи файл robots.txt. Цей файл повідомляє роботів, які розділи вашого сайту не підлягають індексації. Звичайно це можуть бути директорії, що містять файли, якими робот не цікавиться або йому не варто було б знати
   Роботи зберігають і збирають посилання з кожної сторінки, що вони відвідують, а пізніше проходять по цих посиланнях на інші сторінки. Вся всесвітня мережа побудована з посилань. Початкова ідея створення Інтернет мережі була в тім, що б була можливість переміщатися по посиланнях від одного місць до іншого. От так переміщаються й роботи
   "Дотепність" відносно індексування сторінок у реальному режимі часу залежить від інженерів пошукових машин, які винайшли методи, використовувані для оцінки інформації, одержуваної роботами розвідувача. Будучи впроваджена в базу даних пошукової машини, інформація доступна користувачам, які здійснюють пошук. Коли користувач пошукової машини вводить пошуковий запит, виробляється ряд швидких обчислень для впевненості в тому, що видається дійсно правильний набір сайтів для найбільш релевантної відповіді.
   Ви можете переглянути, які сторінки вашого сайту вже відвідав пошуковий робот, керуючись лог-файлами сервера, або результатами статистичної обробки лог-файлу. Ідентифікуючи роботів, ви побачите, коли вони відвідали ваш сайт, які сторінки і як часто. Деякі роботи легко ідентифікуються по своїх іменах, як Google "Googlebot". Інші більше сховані, як, наприклад, Inktomi "Slurp". Інші роботи так само можуть зустрічатися в логах і не виключено, що ви не зможете відразу їх ідентифікувати; деякі з них можуть навіть виявитися броузерами, якими управляють люди.
   Крім ідентифікації унікальних пошукових роботів і підрахунку кількості їхніх візитів, статистика також може показати вам агресивну, поглинаючу ширину катала пропущення роботів або роботів, небажаних для відвідування вашого сайту.
   Як вони читають сторінки вашого web-сайту?
   Коли пошукової робот відвідує сторінку, він переглядає її видимий текст, зміст різних тегів у вихідному коді вашої сторінки (title tag, meta tags, і т.д.), а так само гіперпосилання на сторінці. Судячи зі слів посилань, пошукова машина вирішує, про що сторінка. Є багато факторів, використовуваних для обчислення ключових моментів сторінки "граючу роль". Кожна пошукова машина має свій власний алгоритм для оцінки й обробки інформації. Залежно від того, як робот настроєний, інформація індексується, а потім доставляється в базу даних пошукової системи
   Після цього, інформація, доставлена в індексні бази даних пошукової системи, стає частиною розвідувача й процесу ранжирування в базі. Коли відвідувач здійснює запит, розвідувач переглядає всю базу даних для видачі кінцевого списку, релевантного пошуковому запиту
   Бази даних пошукових систем піддаються ретельній обробці й приведенню у відповідність. Якщо ви вже потрапили в базу даних, роботи будуть відвідувати вас періодично для збору будь-яких змін на сторінках і впевненості в тому, що мають саму останню інформацію. Кількість відвідувань залежить від установок пошукової машини, які можуть варіюватися від її виду й призначення
   Іноді пошукові роботи не в змозі проіндексувати web-сайт. Якщо ваш сайт упав або на сайт іде велику кількість відвідувачів, робот може бути безсильний у спробах його індексації. Коли таке відбувається, сайт не може бути переіндексований, що залежить від частоти його відвідування роботом. У більшості випадків, роботи, які не змогли досягти ваших сторінок, спробують пізніше, у надії на те, що ваш сайт найближчим часом буде доступний.
   Багато пошукових роботів не можуть бути ідентифіковані, коли ви переглядаєте логи. Вони можуть відвідувати вас, але логи затверджують, що хтось використовує Microsoft броузер і т.д. Деякі роботи ідентифікують себе використанням ім"я розвідувача (googlebot) або його клону (Scooter = AltaVista).
   Залежно від того, як робот настроєний, інформація індексується, а потім доставляється в бази даних пошукової машини.
   Бази даних пошукових машин піддаються модифікації в різний термін. Навіть директорії, що мають вторинні пошукові результати використовують даних роботів як зміст свого web-сайту.
   Зазвичай, роботи не використовуються розвідувачами лише для вищевикладеного. Існують роботи, які перевіряють бази даних на наявність нового змісту, відвідують старий зміст бази, перевіряють, чи не змінилися посилання, завантажують цілі сайти для перегляду й так далі.
   З цієї причини, читання лог-файлів і спостереження за видачею пошукової системи допомагає вам спостерігати за індексацією ваших проектів