Izravno od Googlea:
Metatagovi su sjajan način da webmasteri pruže tražilicama informacije o svojim web mjestima. Metaoznake se mogu koristiti za pružanje informacija svim vrstama klijenata, a svaki sustav obrađuje samo metaoznake koje oni razumiju, a ostalo ignorira.
Ako želite potpuno blokirati sve tražilice:
Zašto?
Možda je to pomalo privatni URL na vašoj web lokaciji, ali nije zaštićen na takav način da ga pretraživački bot nije mogao vidjeti. Kao da ako stranica zahtijeva prijavu da bi je vidjela, to je ionako blokirano od bota za pretraživanje. Ali ako se radi samo o zamućenom URL-u, tko zna kako se roboti za pretraživanje kreću, pa biste možda htjeli spriječiti indeksiranje.
Rezultati pretraživanja još su jedan uobičajeni. Možda je čudno da rezultat pretraživanja bude i rezultat pretraživanja. WordPress teme obično uključuju ovo:
Mogao bih to malo izmijeniti i reći botovima, hej, možete slijediti linkove ovdje kako biste nastavili indeksirati stranicu, ali nemojte posebno indeksirati ovu stranicu.
Drugi
Tražilice obično koriste oznaku opisa za tekstualni sadržaj pored :
Pogledajte Google stranicu za druge specifične za Google, poput mogućnosti zaustavljanja Googleovih korisničkih sučelja, poput njihovog "okvira za pretraživanje veze na web mjesto".