Zagadnienia związane z indeksowaniem twoich stron www w wyszukiwarce Google

Jak poprawić jakość indeksowania stron przez wyszukiwarkę Google?

Dlaczego napisaliśmy ten artykuł? Ponieważ dużo ludzi zadaje pytania związane z problemami podczas indeksowania nowych i istniejacych stron. W tym artykule poruszymy kwestie związane indeksowaniem nowych jak i istniejących stron przez roboty wyszukiwarki Google. Każdy kto na co dzień zajmuje sie tworzeniem i publikowaniem stron internetowych w wyszukiwarce liczy a to, że puszczona i uruchomiona strona od razu zostanie zaindeksowana przez Google. Już nie mówimy tutaj i natychmiastowym uzyskaniu satysfakcjonujących winików pozycjonowania i wysokich lokat naszej nowej strony, w tym momencie chodzi nam głownie o kwestie związane z samą indeksacją, czasem i czestotliwością indeksowania oraz problemami mogącymi się pojawić na tym etapie. Ludzie często zadają pytania dlaczego google nie chce zaindeksować czy przeindeksować mojej strony? Albo dlaczego indeksowanie strony przez Google trwa tak długo? W przypadku istniejących od dłuższego czasu serwisów internetowych problemy mogą dotyczyć słabej częstotliwości indeksowania dochodzących nowych podstron (dotyczyć to może zarówno artykułów na stronie, podstron twojego bloga lub stron produktów w przypadku sklepu internetowego).

Jak w przypadku każdych problemów, zaistnieć może równolegle kilka przyczyn takiego stanu rzeczy. Istotne problemy wynikają bezpośrednio z przyczyn wewnętrznych związanych zarówno ze stanem samej strony, konfiguracji plików oraz ustawień (o tym szerzej napiszemy w dalszej części niniejszego artykułu). Na wpływ braku indeksacji czy też wydłużonego czasu powtórego indeksowania strony jak i podstron mogą mieć również czynniki zewnętrzne. Postaramy się przedstawić również kilka sprawdzonych porad jak poprawić jakość indeskowania strony internetowej przez Google.

Zarówno link domeny głównej nowo publikowanej strony (potocznie mówiąc domena) jak też adresy stron prowadzące do nowych treści (na przykład link podstrony blogowej czy artykułu na stronie) posiadają swój adres url. Skąd zatem Google ma się dowiedzieć i pojawieniu się w sieci nowego adresu URL? Aby móc odnaleźć daną podstronę czy domenę w Google, wyszukiwarka musi ją posiadać w swojej bazie indeksowej. Baza ta jest listą wzystkich posiadanych i poznanych przez google adresów, które algorytmy wykorzystują do zwracania wyników w zależności od kombinacji zapytań zadawanych przez żywych użytkowników wyszukiwarki. Algorytmy dopasowują zapytanie do powiązań znanych im adresów URL z treściami które się pod ich adresami znajdują. Jak wiemy algorytmy te są skoplikowane a wyniki zwracane przez wyszukiwarkę równiż zmieniają się w czasie i opierają się o bieżąca "wiedzę" robotów wyszukiwarki a raczej zasobami którymi dysponuje w swoich nieprzebranych bazach danych. Działa to dwukierunkowo - wyszukiwarki zbierają do bazy spis wszystkim zadawanych przez użytkowników zapytań w danym okresie czasu, tak aby potem móc dopasować do nich odpowiednie odpowiedzi zwrotne.

Skąd zatem Google zna strony i ich treści? Przeskanowanie ogromnych ilości zasobów publikowanych codziennie na całym świecie wymaga nie tylko czasu ale i skomplikowanych technologii. Za te prace odpowiadają spidery czyli roboty, które poddawają skanowaniu zarówno nowe jak i istniejące strony internetowe celem rozpoznania czy i jakie nowe treści pojawiły się na nich i zostału opublikowane w czasie późniejszym niż poprzednie skanowanie. Ta systematyczna nauka pozwala później na wykorzystanie i obrobienie posiadanych w bazach danych tak, aby możliwe było zwrócenie optymalnej listy wyników z adresami stron o możliwie jak najlepszym dopasowaniu do zadanego przez internaute pytania. Zachowania spiderów są niejako odzwierciedleniem i symulacją zachowań prawdziwego użytkownika, stad potrafią rozpozać nie tylko jakość oraz wartość merytoryczną samych treści, lecz również zbadać funkcjonalną serwisu (weryfikacja porawności elementów klikalnych, wielkości czcionek, czytelność oraz rozlokowanie poszczególnych elementów funckcjonalnych serwisu). Tworząc nową, jakościową stronę i to w dodatku opartą o zalecenia porpawności technicznej branej pod uwagę przez Google, nie zobaczysz jej nawet na końcu listy wyników jeżeli będzie ona nieznana dla algorytmów wyszukiwarki. Dopiero poinformowanie o istnieniu danego adresu URL pozwoli na wpuszczenie do strony robotów skanujących, które będą mogły ją zbadać i odczytać.

W jakim tempie wyszukiwarka Google jest w stanie indeksować strony internetowe?
Każdego dnia na całym świecie tworzona jest i publikowana w internecie olbrzymia ilość materiału oraz treści. Tym samym roboty wyszukiwarek mają przysłowiowo pełne ręce roboty. Przepastna ilość stron do przeskanowania wymaga olbrzymich nakłądów mocy przeliczeniowych, które jak wiadomo nie są nieograniczone - dlatego też żadna strona nie ma gwarancji szybkiego i systematycznego reindeksowania. Tempo indeksowania stron zależy więc też od falowości nawarstwiania się nowych zasobów w danym okresie czasu któe roboty muszą przeskanować oraz zapisać do pamięci swoich baz danych. W celu optymalnego dystrybuowania mocy przerobowej infrastruktury obliczeniowej wyszukiwarka wstępnie segreguje i poddaje ocenie, na które adresy i z jakim prirytetem częstotliwości poświęcać swoje moce obliczeniowe. Jak wiemy każda wizyta robota skanującego naszą stronę do dla wyszukiwarki wymierny koszt, zatem tempo indeksacji zależy od wstępego ocenienia przez wyszukiwarkę wartości danej strony. Zdobycie zaufania tego cyfrowego analizatora przełoży się na zarówno tempo indeksowania naszych stron internetowych jak i częstotliwość powtórnych skanowań zasobów na naszych stronach. Spowolnienie indeksowania w pełnych okresach czasowych można uważać za sposób na zystkanie wymiernych oszczędności w celach zużywania nie tylko mocy przerobowych, a także energii. Cały problem ma jednak i drugą stronę medalu - wyszukiwarce zależy na tym aby użytkownicy nie przestali z niej korzystać - a mogłoby do tego dojsc jeśli wyszukiwarka zwracałaby przestarzałe wyniki i niekatualne odpowiedzi oraz informacje. Dlatego możba być w miarę spokojnym, tu chodzi głownie występowanie pewnych spowolnień, czyli zmniejszenia tempa oraz czestotliwości indeksowania.

Wiele przyczyn braku indeksacji strony www wynika z podejmowanych działań (lub ich braku) przez osobę tworzącą strony internetowe - deweloperów. Często problem wynika z banalnych rzeczy - na etapie tworzeni i testowania stron po roboczymi wersjami strony celowo zabezpiecza się ją przed możliwością ideksacji, żeby Google nie zaindeksowało istniejącego kontentu pod roboczą wersją domeny (po przełączeniu na docelową istniałoby ryzyko indeksowania zduplikowanych treści). Blokowanie indeksacji celowe również pojawia się gdy w wersji deweloperskiej strony internetowej zamiast tekstu właściwego znajduje się generowana porcja znaków (Lorem). Aby uniknąć indeksacji tego typu zasobów programiści celową blokują indeksację wykorzystujac ustawienia parametru robots (na wartość noindex). Google w tym przypadku nie będzie indeksować takiej strony (lub wybiórczo zablokowanych stron w wersji roboczej z parametrem noindex).

Kolejną przyczyną braku indeksowania stron jest błędna konfiguracja parametru canonical dla linków występujących wewnątrz stron internetowych. Jeżeli wpis w linku canonical różni się od adresu URL strony na ktorej się znajduję, Google nie jako będzie miało skazówkę że kanoniczną wersją strony jest ta znajdująca się w zapisie parametru canonical (i ten zasób weźmie pod uwagę do zaindeksowania).

Czy ta indeksację ma wpływ to, że strona internetowa jest nowa?
Ze względu na to, iż codziennie powstają nowe strony internetowe, które służą różnym celą a ich żywotność w czasie jest zróżnicowana, wyszukiwarki mogą różnie je traktować. Każdego dnia na całym świecie pojawiają sie tysiące dowych domen i subdomen po którymi publikowane są różne zasoby oraz materiały i treść. Wśród nich znajdują się i też te nikomu niepotrzebne czyli tzw. śmieciowe strony, które nigdy nie będą rozwijane w przemyślany sposób. Jak wiadomo wyszukiwarka Google optymalizuje zużycie mocy obliczeniowych więc tym samym stara się nie eksploatować czasu i kosztów na indeksowanie stron które nie zbobyły w czasie jego zaufania. Każda nowo powstała strona www świeżo zgłoszona do indeksacji może być pomijana w tym procesie gdyż albo charakteryzuje się brakiem jakiegokolwiek autorytetu lub z punktu widzenia Google potencjał strony i jest słaby (co może wynikać z wersji rozwojowej serwisu internetowego lub puszczenia do indeksacji będącej jeszcze w trakcie projektowania na żywo). Kolejne przejścia robotów skanujących (jeżeli będą one widzieć zmiany zmierzające w dobrym kierunku) z reguły analizują stronę w którą podąrza rozwój witryny i z czasem nie tylko częściej będą dany adres odwiedzać ale też wyżej ją punktować. To zasada wynikająca z polityki absorbowania zasobów mocy obliczeniowych, które w trosce o jakość i aktualność zwracanych wyników wyszukiwarka woli poświęcać na indeksowanie o wysokiej częstotliwości serwisów które długo istnieją w sieci i na co dzień są odwiedzane przez dużą i rozsnącą grupę użytkowników.

Czy jeśli strona internetowa wolno się ładuje to indekscja jest wtedy gorsza?
Ze względu na ograniczone możliwości, istnieje limit czasu który roboty wyszukiwarki mogą poświęcic na skanowanie stron internetowych (a właściwie tego co się na nich publikuje) - dlatego też Google pomija ślimaczące się strony bo nie ma czasu czekać na odpowiedź serwera i załadowanie istotnych zasobów. Z punktu widzenia wyszukiwarki - jeśli potencjał obu podobnych stron byłby taki sam (jakość kodu, tekstów, atrakcyjność i dostępność) a jedna ładowała by się dłużej od drugiej - to wóczas ta szybsza strona będzie wyżej w indeksie a strona powolna będzie niewarta indeksowania. Czas który spidery poswięcą na czekanie, wolą wykorzystać na skanowanie innej części internetu. Tym samym dbajac zarówno o samą indeksację jak i też wysokie pozycjonowanie stron w indeksie Google, należy parametr prędkości związany z szybkością ładowania strony również brać po uwagę.