Cum să ștergeți un site sau fragmentele acestuia din indexul Google

Conform conceptului de indexare adoptat de Google, a reprezentat integralitatea, obiectivitatea informațiilor și conformitatea cu interogarea de căutare în eliberarea rezultatelor. În cazul în care indicele de site-ul scade cu conținut ilegal sau de resurse pentru spam, paginile acestui site nu vor fi marcate în comun cu motorul de căutare de baze de date. Pentru noi este important să învățăm, cum să ștergeți un site de la emiterea serverului pe baza rezultatelor căutării.

Opțiuni de indexare zero pentru Google

De îndată ce crawlerul - programul pentru colectarea de informații despre noi resurse - scanează pagina de pagină pe pagină, atunci dacă îndeplinește cerințele politicii Google privind parsarea, aceasta va fi indexată. Dar vom descrie și cum să ștergeți site-ul sau fragmentele individuale pentru motoarele de căutare folosind robots.txt - un pointer și, în același timp, un terminator de căutare.

Pentru a exclude întreaga resursă din problemă, se creează o anumită zonă de text în dosarul rădăcină al serverului pe care este localizat site-ul - robots.txt menționat mai sus. Această zonă este procesată de motoarele de căutare și funcționează în conformitate cu instrucțiunile citite.

Rețineți că motorul de căutare Google va indexa pagina, chiar dacă utilizatorul nu are permisiunea de a vedea. Atunci când browserul emite un răspuns 401 sau 403, "Accesul nu este valabil", aceasta se aplică numai vizitatorilor, nu celor care le construiesc motor de căutare.

Pentru a înțelege, cum să eliminați site-ul din indexul de căutare, în pointerul de text ar trebui să includă următoarele rânduri:

User-agent: Googlebot

Nu permiteți: /

Acest lucru indică robotului căutării că este interzisă indexarea întregului conținut al site-ului. aici cum să ștergeți un site Google, astfel încât acesta din urmă să nu cacheze resursa din lista găsită.

Opțiunile de scanare pentru diferite protocoale

Dacă trebuie să listați standardele de comunicare individuale pentru care doriți să aplicați reguli specifice pentru indexarea Google, de exemplu, separat pentru hipertext http / https, Aceasta ar trebui să fie setată și în robots.txt în modul următor (exemplu).

(https://yourserver.com/robots.txt) - numele domeniului site-ului dvs. (orice)

User-agent: * - pentru orice motor de căutare

Permiteți: / - permite indexarea completă

Cum să eliminați complet un site din emisiune pentru protocolul https

(Https://yourserver.com/robots.txt):

User-agent: *

Nu permiteți: / interzicerea completă a indexării

Ștergerea urgentă a adresei URL a resursei de la Căutarea Google Google

Dacă nu doriți să așteptați re-indexarea și site-ul trebuie să fie ascuns cât mai curând posibil, vă recomandăm să utilizați serviciul https://services.google.com/urlconsole/controller. Fișierul pre-robots.txt ar trebui să fie deja plasat în directorul rădăcină al serverului de site. Instrucțiunile trebuie să fie scrise în ea.

În cazul în care indicatorul pentru un motiv oarecare nu pot fi editate în directorul rădăcină, creați suficient în folderul cu obiective pentru care doriți să le ascundeți de motoarele de căutare. De îndată ce faceți acest lucru și contactați serviciul de eliminare automată a adreselor de hipertext, Google nu va scana directoarele care sunt scrise în robots.txt.

Perioada de invizibilitate este fixată timp de 3 luni. După această perioadă, directorul eliminat din ediție va fi procesat din nou de serverul Google.

KCum să ștergeți un site pentru scanare în parte

Când botul de căutare citește conținutul fișierului robots.txt, pe baza conținutului său, se iau anumite decizii. De exemplu, trebuie să excludeți de pe ecran întregul director numit anatom. Pentru aceasta este suficient să scrieți astfel de instrucțiuni:

User-agent: Googlebot

Nu permiteți: / anatom

Sau, de exemplu, nu doriți să indexați toate imaginile ca .jpg. Pentru aceasta, adăugați următoarea listă:

User-agent: Googlebot

Dezactivați: /*.jpg$

Iată un alt exemplu. Să ștergem informațiile despre paginile generate dinamic din parsare, apoi adăugăm următoarea intrare la pointer:

User-agent: Googlebot

Nu permiteți: / *?

Deci, aproximativ, și regulile pentru motoarele de căutare sunt prescrise. Un alt lucru este că este mult mai convenabil pentru toate acestea să folosească eticheta META. Și webmasterii folosesc adesea doar un astfel de standard care reglementează funcționarea motoarelor de căutare. Dar vom vorbi despre asta în următoarele articole.