Індексація сторінок

Індексація (англ. indexing) — процес аналізу просканованої сторінки та додавання її до бази даних пошукової системи, звідки вона надалі може показуватися у видачі. Індексація — окремий етап, наступний після сканування: робот може відвідати сторінку (просканувати), але не додати її до індексу, якщо визнає контент малоцінним, дублем чи технічно недоступним.

Сканування, рендеринг, індексація — три різні етапи

Офіційний детальний посібник Google описує шлях сторінки від URL до видачі трьома послідовними етапами: спершу робот сканує (crawling) сторінку, тобто завантажує її вміст; далі за потреби рендерить JavaScript, щоб побачити сторінку так само, як її бачить браузер користувача; і лише потім аналізує вміст для ухвалення рішення про індексацію.^[1] Проблема на будь-якому з цих етапів може завадити сторінці потрапити до індексу, навіть якщо наступні етапи технічно пройшли б успішно.

Найчастіші причини, чому сторінка не індексується

• Тег <meta name="robots" content="noindex"> або відповідний HTTP-заголовок X-Robots-Tag.
• Блокування сканування через правило в robots.txt (сторінка технічно не сканується, тож і не аналізується для індексації).
• Сторінка визнана дублем канонічної версії — Google обирає одну версію з групи схожих URL і індексує лише її.
• Низька оцінка якості контенту — Google може відмовитися індексувати сторінки з дуже тонким чи автоматично згенерованим вмістом.
• Технічні помилки сервера чи занадто повільне завантаження, через які сканування регулярно переривається.

Як перевірити статус індексації

Найточніший спосіб — звіт «Індексування сторінок» (раніше «Покриття») у Google Search Console: він показує кількість проіндексованих сторінок і детальну причину виключення для кожної з непроіндексованих.^[2] Для окремого URL зручніше скористатися інструментом «Перевірка URL» у тій самій Search Console — він показує актуальний статус індексації конкретної адреси й дозволяє одразу подати запит на повторне сканування.

Як прискорити індексацію нової чи оновленої сторінки

1. Переконайтеся, що сторінка присутня в актуальному файлі sitemap.xml.
2. Додайте на неї внутрішні посилання з уже проіндексованих, авторитетних сторінок сайту.
3. Подайте URL на повторне сканування через інструмент перевірки URL у Search Console.
4. Перевірте, що сторінка не заблокована випадково в robots.txt чи тегом noindex.

Поширені помилки

• Плутати наявність сторінки в sitemap.xml з фактом її індексації — sitemap лише підказка роботу, а не гарантія.
• Закривати від сканування (robots.txt) сторінки, які натомість варто було закрити тегом noindex — робот просто не побачить сам тег, якщо сторінка заблокована на рівні сканування.
• Очікувати індексацію нової сторінки за лічені години на великому сайті без додаткових внутрішніх посилань на неї.

Як стежити за динамікою індексації сайту в часі

Одноразова перевірка статусу індексації дає лише знімок поточного стану, тоді як для повноцінної роботи важливіше бачити динаміку: чи кількість проіндексованих сторінок стабільно зростає разом із публікацією нового контенту, чи, навпаки, поступово скорочується, що може сигналізувати про приховану технічну проблему. Графік у звіті «Індексування сторінок» Search Console показує саме цю динаміку за останні 3 місяці і дозволяє швидко помітити різкий провал — наприклад, після невдалого технічного релізу сайту, що випадково додав тег noindex на цілий розділ, або після зміни структури URL без належних редиректів. Рекомендована практика — переглядати цей звіт не рідше разу на місяць навіть за відсутності видимих проблем, оскільки повільне поступове скорочення індексу часто непомітне без регулярного моніторингу, доки не позначиться відчутним падінням трафіку.

Технічні дублі на рівні домену: www, http/https, слеш у кінці

Ще до аналізу вмісту конкретної сторінки варто переконатися, що сайт технічно не створює непотрібних дублів на рівні всього домену. Найпоширеніші випадки: сайт одночасно відкривається за адресами з www і без www, за http і за https, або з кінцевим слешем в URL і без нього — і кожна з таких пар фактично є окремою адресою з погляду пошукового робота, навіть якщо показує ідентичний вміст. Якщо для кожної пари не налаштовано однозначний 301-редирект на єдину «канонічну» версію, Google змушений самостійно вирішувати, яку з них вважати основною, а зусилля з побудови посилального профілю й авторитетності розпорошуються між двома технічно різними адресами тієї самої сторінки. Перевірити це нескладно: достатньо вручну ввести в браузері кілька варіантів адреси головної сторінки сайту й переконатися, що всі вони однозначно ведуть на єдину фінальну версію.

Sitemap.xml як інструмент керування індексацією

Файл sitemap.xml — це структурований XML-документ зі списком URL сайту, які власник вважає вартими сканування, часто з додатковою інформацією про дату останнього оновлення кожної адреси.^[3] Хоча sitemap не гарантує індексації (див. запитання нижче), він відчутно підвищує ймовірність і швидкість сканування, особливо для сторінок, на які веде мало внутрішніх посилань, чи для великих сайтів з тисячами URL. Практичні рекомендації: включайте в sitemap лише канонічні, індексовані версії сторінок (без дублів, редиректів і сторінок з noindex — їхня присутність тільки «засмічує» файл і витрачає увагу робота); для великих сайтів розбивайте sitemap на кілька файлів за розділами (наприклад, окремо для товарів, окремо для статей блогу) і об’єднуйте їх у sitemap-індекс — так простіше локалізувати проблему, якщо якийсь розділ раптом перестане нормально індексуватися; оновлюйте дату lastmod лише при реальній зміні вмісту сторінки, а не автоматично при кожному технічному оновленні сайту, інакше сигнал втрачає цінність для робота.

Індексація — це ще не ранжування

Одна з найпоширеніших плутанин у власників сайтів — ототожнення індексації з позиціями у видачі. Це два зовсім різні етапи: індексація лише визначає, чи потрапляє сторінка загалом до бази даних, з якої Google може щось показати користувачам. Те, на якій саме позиції й за якими запитами вона з’явиться (якщо з’явиться взагалі), вирішує окремий алгоритм ранжування, що враховує сотні інших факторів — від релевантності контенту до швидкості завантаження й посилального профілю. Тому проіндексована сторінка зовсім не гарантує трафіку: вона може роками перебувати в індексі, жодного разу не потрапивши в топ-50 за жоден комерційно цікавий запит. Практичний висновок: перевірка статусу індексації — це діагностика лише першого, технічного бар’єра; якщо сторінка індексується, але не приносить трафіку, проблему варто шукати вже не в індексації, а в якості контенту, релевантності запиту й конкурентному середовищі видачі.

Mobile-first indexing: яка версія сторінки потрапляє в індекс

З 2023–2024 років Google практично повністю перейшов на так звану mobile-first indexing — це означає, що для сканування, індексації та ранжування переважної більшості сайтів використовується саме мобільна версія сторінки, а не десктопна.^[4] Практичний наслідок для власників сайтів: якщо на мобільній версії прибрано частину контенту, блоків чи посилань, які є на десктопній (типова економія місця на екрані), саме ця урізана версія й визначає, що бачить і оцінює Googlebot. Тому перевіряти унікальність, повноту контенту й наявність внутрішніх посилань варто саме на мобільній версії сторінки, а не лише на десктопній, де все може виглядати повноцінно.

Індексація сторінок, що активно використовують JavaScript

Сайти, побудовані як односторінкові застосунки (SPA) чи ті, де основний контент і посилання генеруються JavaScript уже в браузері, потребують додаткового етапу — рендерингу — перш ніж Google зможе проаналізувати їхній фактичний вміст. Якщо рендеринг з якихось причин не відбувається коректно (помилки скриптів, надто довгий час виконання, блокування необхідних ресурсів у robots.txt), робот може побачити практично порожню сторінку замість реального контенту, і вона або не потрапить до індексу, або потрапить з мінімальним, нерелевантним вмістом. Найнадійніший спосіб перевірити, що саме бачить Google — інструмент «Перевірка URL» у Search Console, що показує відрендерений HTML-код сторінки таким, яким його фактично проаналізував робот.

Інструменти для роботи з індексацією

• Google Search Console — основне джерело даних: звіт «Індексування сторінок», інструмент «Перевірка URL», звіт «Файли Sitemap».
• Screaming Frog SEO Spider — дозволяє просканувати весь сайт і швидко знайти сторінки з тегом noindex, помилковими канонічними адресами чи закриті в robots.txt, ще до того, як це помітить Google.
• Ahrefs (Site Audit) — окрім переліку технічних проблем індексації, показує, які зі сторінок, що індексуються, реально отримують органічний трафік.
• robots.txt Tester — вбудований у Search Console інструмент, який показує, чи заблокує конкретне правило конкретний URL, перш ніж воно потрапить у продакшн.

Практичний приклад

Інтернет-магазин запустив новий розділ «Розпродаж» із кількома десятками товарних карток. Через два тижні власник помітив, що розділ не приносить трафіку, і почав перевірку.

1. У звіті «Індексування сторінок» Search Console розділ «Розпродаж» значився в категорії «Просканована, наразі не проіндексована» — Google відвідав сторінки, але не додав їх до індексу.
2. Перевірка через інструмент «Перевірка URL» показала, що причина — низька унікальність контенту: описи товарів практично повністю дублювали картки з основного каталогу, лише зі зміненою ціною.
3. Після додавання унікальних описів і блоку «Чому варто купити зі знижкою» до кожної картки, а також подання URL на повторне сканування, більшість сторінок потрапила до індексу протягом наступних 10–14 днів.

Цей приклад ілюструє типову ситуацію: сторінка технічно доступна й просканована, але не проходить внутрішній поріг якості контенту, який Google застосовує саме на етапі ухвалення рішення про індексацію.

Поширені запитання

Скільки часу потрібно Google, щоб проіндексувати нову сторінку?

Однозначного терміну немає — залежить від частоти сканування сайту, його авторитетності й кількості внутрішніх посилань на нову сторінку. Це може бути від кількох годин до кількох тижнів, тому Google прямо попереджає не очікувати миттєвого результату навіть після подання запиту на повторне сканування.^[5]

Чи гарантує sitemap.xml індексацію сторінок, які в ньому перелічені?

Ні. Файл sitemap — лише підказка для пошукового робота про те, які URL існують на сайті і як часто вони оновлюються; рішення про сканування й подальшу індексацію кожної адреси ухвалюється окремо.^[3]

Чим звіт «Покриття» відрізняється від поточного звіту «Індексування сторінок»?

Це та сама функціональність Search Console: звіт «Покриття» (Coverage) був перейменований Google на «Індексування сторінок» (Page indexing), зберігши ту саму логіку категорій і причин виключення сторінок з індексу.^[2]

Чи можна примусово прибрати сторінку з індексу, якщо вона вже там опинилася помилково?

Так — додавши тег noindex (мета-тег або HTTP-заголовок X-Robots-Tag) і дочекавшись повторного сканування, або скориставшись інструментом видалення URL у Search Console для тимчасового приховання сторінки з видачі, поки постійне рішення не набуде чинності.^[6]

Чи можна проіндексувати сторінку, заблоковану в robots.txt?

Технічно так, і це поширена плутанина: robots.txt забороняє лише сканування вмісту сторінки, але не забороняє Google в принципі знати про існування URL — якщо на заблоковану адресу ведуть зовнішні чи внутрішні посилання, Google іноді все одно показує її в видачі без опису, лише за фактом наявності посилань, оскільки не може прочитати сам вміст. Щоб гарантовано прибрати сторінку з видачі, правильний спосіб — саме тег noindex (сторінка при цьому має залишатися доступною для сканування), а не блокування в robots.txt.

Індексація і краулінговий бюджет великих сайтів

На сайтах з десятками тисяч сторінок і більше додатково постає питання краулінгового бюджету — обмеженої кількості URL, яку Googlebot готовий і здатний сканувати на конкретному сайті за певний період.^[7] Якщо значна частина бюджету витрачається на сканування малоцінних технічних дублів (наприклад, комбінацій фільтрів у каталозі), робот може банально не встигати регулярно доходити до нових чи оновлених сторінок, що безпосередньо затримує їхню індексацію. Тому на великих проєктах керування індексацією і керування краулінговим бюджетом — практично одна й та сама задача: чим менше «сміттєвих» URL претендують на увагу робота, тим швидше й повніше індексується цінний контент.