Súbor robots.txt je hlavným súbor, ktorý popisuje pravidlá spracovania stránky z vyhľadávačov. Tento súbor je potrebné určiť primárnu lokalitu meno, mapy lokality (sitemap.xml), verejné a súkromné sekcie webu.
Súbor robots.txt zahŕňa tieto smernice:
- User-agent Smernica určuje, do akej robot nasledujúce pravidlá
- * - všetky roboty
- Yandex — hlavné robot Yandex
- Robot Googlebot — robot Googlebot je hlavné
- StackRambler — vyhľadávač Rambler
- Aport — Aport pre vyhľadávače
- Usrkávať je Yahoo robot
- MSNBot je MSN robot
- Zakázať Smernice je zákaz časť webu
- Povoliť — Smernice umožňuje, časť webovej stránky
- Hosť — Smernica určiť primárnu lokalitu meno
- Sitemap— Smernice usmernenia, mapa stránok (sitemap.xml)
- Prechádzanie oneskorenie Smernica určuje, koľko sekúnd robot môže čakať na odpoveď z lokality (vyžaduje sa pre silne zaťažované zdroje, takže robot nepovažovali stránky nie je k dispozícii)
- Čisté param Smernice opisuje dynamické parametre nemajú vplyv na obsah stránky
Помимо директив в robots.txt используются спец символы:
- * - lubi (vrátane prázdnych) postupnosť znakov
- $ — je obmedzenie pravidlá
Zostaviť robots.txt použitie vyššie uvedených pokynov a spievané znaky a dopĺňa takto:
- Určuje názov robota, na ktorom je napísaný zoznam pravidiel
(User-agent: * - pravidlo pre všetky roboty) - Kúzlo zoznam zakázaných sekcie webu pre zadaný robot
( Disallow: / - zakázanie indexovania celej stránky) - Kúzlo zoznam povolených sekcie webu
(Umožňujú: /home/ — oblasť domov je povolené) - Určuje názov webovej stránky
(Hosť: crazysquirrel.ru — hlavný názov lokality crazysquirrel.ru) - Určuje absolútnu cestu k súboru sitemap.xml
(Sitemap: https:// crazysquirrel.ru/sitemap.xml)
Ak stránka nemá žiadne nezákonné témy, robots.txt musí byť najmenej 4 riadky:
User-Agent: *
Umožňujú: /
Hosť: crazysquirrel.ru
Sitemap: https://crazysquirrel.ru/sitemap.xmlKontrola robots.txt a ako to ovplyvní indexovaní webovej stránky pomocou nástrojov Yandex