Пошуковий індекс
Індекс або пошуковий індекс – база даних, що містить інформацію про документи, зібрану роботами-індексаторами пошукових систем. Процес занесення пошуковим роботом інформації про те, що з’явилося на сайті, в базу даних називається індексацією сайту. В даних що в збираються з сайту в основному міститься інформація про розташування ключових слів у різних частинах сторінок сайту і зовнішніх посилань з них. У деяких випадках індексуватись можуть і зображення. Після обробки отриманих даних пошукові системи за допомогою відповідних алгоритмів ранжування отримують можливість виводити сайт у видачі результатів. Оскільки бази даних постійно оновлюються, число проіндексованих сторінок може періодично змінюватися.
Способи індексації сайту
На сьогоднішній день існує два способи індексації сайту – ручний та автоматичний. Перший – це додавання адреси сайту через відповідну форму для індексації (аддуерелка), в результаті чого робот отримує відомості про місце знаходження сайту. Другий, відбувається в автоматичному режимі без втручання користувача. Оскільки даний процес може тривати необмежений час, для його прискорення використовуються зовнішні посилання з вже проіндексованих сайтів.
Керування індексацією здійснюється за допомогою файлу robots.txt, в якому можна дозволити або ж заборонити доступ пошуковим роботам до тих чи інших сторінок сайту.