Семалт: Како блокирати Дародар Роботс.ткт

Роботс.ткт датотека је типична текстуална датотека која садржи упутства о томе како веб претраживачи или ботови треба да претражују веб локацију. Њихова примена је видљива у ботовима претраживача који су уобичајени на бројним оптимизованим веб локацијама. Као део протокола о искључењу робота (РЕП), датотека роботс.ткт формира суштински аспект индексирања садржаја веб локације као и омогућавање серверу да у складу с тим потврди корисничке захтеве.

Јулиа Васхнева, водитељица Семалт-овог менаџера за успех купаца, објашњава да је повезивање аспект оптимизације претраживача (СЕО), који укључује придобијање промета са других домена у вашој ниши. За везе „пратите“ за пренос сока за везе, од кључне је важности да на ваш вебсајт уђе простор роботс.ткт који ће служити као инструктор о начину на који сервер сарађује са вашом веб страницом. У овој архиви налазе се упутства допуштајући или забрањујући понашање појединих корисничких агената.

Основни формат датотеке роботс.ткт

Датотека роботс.ткт садржи две основне линије:

Кориснички агент: [име корисничког агента]

Онемогући: [УРЛ стринг не може се претраживати]

Комплетна датотека роботс.ткт треба да садржи ове две линије. Међутим, неки од њих могу садржати више линија корисничких агената и директива. Ове команде могу садржавати аспекте као што су допуштање, онемогућавање или одлагање индекса. Обично постоји прекид линије који раздваја сваки сет упутстава. Свака од упутстава за дозвољавање или забрану одвојена је овим прекидом линија, посебно за роботс.ткт са више линија.

Примери

На пример, датотека роботс.ткт може да садржи кодове као што су:

Кориснички агент: дародар

Дисаллов: / плугин

Дисаллов: / АПИ

Дисаллов: / _цомментс

У овом случају, ово је блок датотека роботс.ткт која ограничава Дародар веб претраживачу на приступ вашој веб локацији. У горњој синтакси, код блокира аспекте веб локације као што су додаци, АПИ и одељак коментари. Из овог сазнања могуће је постићи бројне користи од ефикасног извођења текстуалне датотеке робота. Роботс.ткт датотеке могу бити у могућности да обављају бројне функције. На пример, могу бити спремни за:

1. Дозволи сав садржај веб претраживача на веб страници. На пример;

Кориснички агент: *

Онемогући:

У овом случају, свим корисничким садржајима може приступити било који веб претраживач који тражи да дође на веб локацију.

2. Блокирајте одређени веб садржај из одређене мапе. На пример;

Кориснички агент: Гооглебот

Онемогући: / екампле-субфолдер /

Ова синтакса која садржи име корисничког агента Гооглебот припада Гооглеу. Забрањује боту приступ било којој веб страници у низу ввв.оурекампле.цом/екампле-субфолдер/.

3. Блокирајте одређени веб претраживач са одређене веб странице. На пример;

Кориснички агент: Бингбот

Онемогући: /екампле-субфолдер/блоцкед-паге.хтмл

Кориснички агент Бинг бот припада веб претраживачима Бинга. Ова врста датотеке роботс.ткт ограничава Бинг веб претраживачу приступ приступу одређеној страници помоћу низа ввв.оурекампле.цом/екампле-субфолдер/блоцкед-паге.

Важна информација

  • Не користи сваки корисник своју датотеку робтс.ткт. Неки корисници ће можда одлучити да га игноришу. Већина таквих претраживача интернета укључују Тројане и злонамјерни софтвер.
  • Да би датотека Роботс.ткт била видљива, требало би да буде доступна у директоријуму веб локације.
  • Знакови "роботс.ткт" разликују велика и мала слова. Као резултат тога, не бисте их требали мењати на било који начин, укључујући капитализацију неких аспеката.
  • "/Роботс.ткт" је јавно домен. Свако може да пронађе ове информације када га дода у садржај било које УРЛ адресе. Не бисте требали да индексирате основне детаље или странице за које желите да остану приватни.