Jiyi je predstavio ovu txt datoteku koja ima dugu povijest i nastavlja vršiti veliki utjecaj prije dvije godine na 20. obljetnicu robots.txt . U ovom članku nastavit ćemo predstavljati dvije napredne aplikacije robots.txt.
Ključne točke za korištenje robots.txt
Prije nego što predstavimo napredne aplikacije, pregledajmo ključne točke korištenja datoteke robots.txt:
Svaki naziv domene (bez obzira radi li se o poddomeni ili ne) može imati najviše jednu datoteku robots.txt koja se nalazi u korijenskom direktoriju web stranice. Robots.txt od yourname.com nema ograničenja za abc.yourname.com .
Može postojati jedan robots.txt za svaki protokol. Na primjer, http://vašeime.com i https://vašeime.com mogu svaki imati robots.txt.
Može postojati jedan robots.txt po portu. Na primjer, http://vašeime.com i http://vašeime.com:8080 mogu svaki imati robots.txt.
Nazivi datoteka moraju biti pisani Izvršni popis razine C malim slovima. Ne može biti RoBotS.TXT.
Naziv korisničkog agenta i korisničkog agenta , dopusti , zabrani , odgoda indeksiranja , indikatori karte web-lokacije ne razlikuju velika i mala slova.
Ono o čemu želim govoriti ovdje je zamjenski znak *. Predstavlja bilo koji znak bilo koje duljine. Imajte na umu da postoji nevidljivi * nakon svakog retka za dopuštanje i zabranu .
Spojite više korisničkih agenata
Ako imate više dosadnih robota koji indeksiraju vaše web stranice i troše vaše resurse, možete ih blokirati putem Disallow (pod uvjetom da su gospoda, naravno). Možete ih blokirati why google trusts backlinks from government sve odjednom putem korisničkog agenta .Ovaj način pisanja koristan je kada imate više korisničkih agenata, od kojih je svaki složeniji, ali isti.
Prilagodite Sitemap za svakog korisničkog agenta
Jiyi je jednom ukazao na SEO probleme korištenja imenika za višejezični izgled web stranice u članku ” International SEO Incomplete Guide” . Budući da kineske tražilice poput Baidua nisu zainteresirane za tajlandski, norveški ili čak engleski i francuski, dopuštanje Baidu bhb directory paucima da indeksiraju te ne-kineske stranice prouzročit će mnogo rasipanja resursa, što ne samo da utječe na indeks, već također utječe na rangiranje. U tu svrhu možemo koristiti disallow za blokiranje drugih sekundarnih stranica.Ali za indikator Sitemap nije specifičan za određenog korisničkog agenta . Bez obzira gdje se vaša izjava Sitemapa pojavljuje, ona vrijedi za sve tražilice.
