Definicija
Robots.txt je običan tekstualni fajl u korenu sajta koji crawlerima kaže koje URL-ove smeju, a koje ne smeju da traže. Prati Robots Exclusion Protocol, objavljen kao RFC 9309. Upravlja crawlovanjem, a ne indeksiranjem. Svaka Shopify prodavnica ima podrazumevani robots.txt, koji možete da promenite šablonom teme robots.txt.liquid.
Kako radi robots.txt
Pre nego što zatraži stranice sa sajta, crawler koji poštuje pravila preuzme jedan fajl. Pravila moraju da budu u fajlu /robots.txt, malim slovima, u korenu sajta[1]. Format se zove Robots Exclusion Protocol i IETF ga je objavio kao RFC 9309 u septembru 2022[1]. Fajl važi samo za host, protokol i port sa kog se servira[2], pa www.primer.rs i shop.primer.rs imaju svaki svoj.
Fajl se sastoji od grupa. Svaka grupa navodi user agent, a zatim pravila Allow i Disallow za putanje URL-ova. Crawler sluša grupu koja odgovara njegovom imenu, bez obzira na velika i mala slova, a ako takve nema, sluša grupu *[1]. Kada se na isti URL odnosi više pravila, pobeđuje najspecifičnije, odnosno ono sa najdužom putanjom[1]. Kada se allow i disallow pravilo sukobe, Google primenjuje manje restriktivno[2].
Robots.txt upravlja crawlovanjem, a ne indeksiranjem. Google kaže da se fajl koristi uglavnom za upravljanje saobraćajem crawlera i da nije način da stranicu držite van Google-a[3]. Blokiran URL i dalje može da se pojavi u rezultatima pretrage, samo bez opisa[3]. Nije ni zaštita: RFC 9309 kaže da pravila „nisu oblik autorizacije pristupa“[1], a Google napominje da ih ne podržavaju svi pretraživači[3].
Google ima i svoja ograničenja. Čita najviše 500 KiB, a sve posle toga zanemaruje, i fajl uglavnom kešira do 24 sata[2]. Podržava četiri polja: user-agent, allow, disallow i sitemap. Crawl-delay ne podržava[2]. Ako fajl vrati grešku 4xx (osim 429), Google crawluje kao da robots.txt ne postoji. Kod greške 5xx, Google prvih 12 sati prestaje da crawluje sajt[2].
Šta blokira podrazumevani Shopify robots.txt
Svaka Shopify prodavnica automatski servira fajl na adresi /robots.txt, a Shopify kaže da podrazumevana verzija odgovara većini prodavnica[4]. Fajl počinje sa Allow: /, pa crawleri mogu do proizvoda, kolekcija, stranica, blogova i pravila prodavnice, a zatim zabranjuje URL-ove kojima crawleri nemaju šta da traže[4]:
| Podrazumevano pravilo | Šta drži van domašaja crawlera |
|---|---|
Disallow: /admin | Admin prodavnice[4] |
Disallow: /cart/ | Linkove korpe, koji su jedinstveni za svakog kupca[4] |
Disallow: /checkout, /checkouts/ | Checkout stranice[4] |
Disallow: /account, /orders | Nalog kupca i porudžbine[4] |
Disallow: /collections/*+* | Filtrirane kolekcije, koje dupliraju postojeći sadržaj[4] |
Disallow: /collections/*sort_by* | Sortirane kolekcije, iz istog razloga[4] |
Podrazumevani fajl ima i posebnu grupu za adsbot-google, red Sitemap koji upućuje na /sitemap.xml, a u fajlovima koje smo proverili u novembru 2026. i komentare na vrhu koji AI agente za kupovinu upućuju na fajl /agents.md.
Kako se menja robots.txt na Shopify-ju
Na Shopify ne možete da otpremite svoj robots.txt. Umesto toga dodajete šablon teme, robots.txt.liquid, koji zamenjuje fajl koji Shopify generiše[5]. U adminu idite na Online Store, Themes, otvorite meni teme, izaberite Edit code, kliknite Add a new template i izaberite robots[4].
Šablon podržava samo šest Liquid objekata: robots, group, rule, user_agent, sitemap i request[5]. robots.default_groups sadrži Shopify-jeve podrazumevane grupe, a svaka grupa ima user agent, listu pravila i opcioni sitemap[5]. Shopify izričito preporučuje da gradite na tim objektima umesto da sve zamenite ručno ukucanim pravilima, i da pre objavljivanja sačuvate kopiju trenutnog /robots.txt, jer izlaz šablona nije uvek identičan generisanom fajlu[5].
Za srpske prodavnice koje prodaju i u EU ovo ima praktičnu stranu. Ako koristite Shopify Markets sa posebnim domenima, recimo .rs za Srbiju i .com za EU, objekat request.host omogućava pravila samo za jedan domen[5]. Ako za EU imate potpuno odvojenu Shopify prodavnicu, ona ima svoj robots.txt i svoj šablon, pa izmene radite u obe.
Shopify je tu direktan. Izmena robots.txt.liquid je nepodržana prilagodba, Shopify podrška ne može da pomogne oko nje, a pogrešna upotreba može da dovede do gubitka celokupnog saobraćaja[4]. Za povratak na podrazumevani fajl obrišite šablon[4].
AI crawleri i robots.txt
AI kompanije objavljuju svoje user agent tokene i svaki ima drugu namenu. Podešavanja su nezavisna, pa jedan možete da dozvolite, a drugi da blokirate[6].
| Token | Kompanija | Šta postiže Disallow: / |
|---|---|---|
GPTBot | OpenAI | Poručuje da se vaš sadržaj ne koristi za treniranje njihovih AI modela[6] |
OAI-SearchBot | OpenAI | Vaše stranice se ne prikazuju u odgovorima ChatGPT pretrage; mogu ostati samo kao navigacioni linkovi[6] |
ChatGPT-User | OpenAI | Malo: radi na zahtev korisnika, pa robots.txt pravila možda ne važe[6] |
Google-Extended | Ograničava upotrebu za treniranje i grounding Gemini modela; ne utiče na Google pretragu ni na rangiranje[7] |
Google-Extended nije poseban crawler. Google crawluje svojim uobičajenim user agentima, a token čita samo kao kontrolu[7]. Na Shopify-ju postoji još jedan sloj: ako prodajete preko agentic storefronts kanala kao što su ChatGPT ili Microsoft Copilot, Shopify Catalog im šalje podatke o proizvodima nezavisno od robots.txt fajla, pa blokiranje AI crawlera utiče samo na vidljivost na otvorenom webu[4].
Primer: blokiranje URL-ova interne pretrage
Uzmimo hipotetičku prodavnicu igračaka sa 1.500 proizvoda. Tema linkuje na rezultate interne pretrage, a crawleri stalno traže URL-ove kao /search?q=drvene+kocke, beskonačan skup stranica kojima u Google-u nije mesto. Rešenje je jedno dodatno pravilo u grupi *, a Shopify-jeva dokumentacija koristi baš ovaj slučaj kao primer[5]:
{% for group in robots.default_groups %}
{{- group.user_agent }}
{%- for rule in group.rules -%}
{{ rule }}
{%- endfor -%}
{%- if group.user_agent.value == '*' -%}
{{ 'Disallow: /*?q=*' }}
{%- endif -%}
{%- if group.sitemap != blank -%}
{{ group.sitemap }}
{%- endif -%}
{% endfor %}
Petlja ispisuje sve podrazumevane grupe i pravila bez izmena, a grupi za sve crawlere dodaje Disallow: /*?q=*. Pre objavljivanja uporedite novi /robots.txt sa sačuvanom kopijom, red po red[5]. Posle objavljivanja, izveštaj robots.txt u Search Console-u pokazuje koji fajl je Google preuzeo i kada, i omogućava da u hitnim slučajevima zatražite ponovno preuzimanje[8].
Podrazumevani fajl pokazuje i kako radi prednost pravila. U njemu stoje i Disallow: /account i Allow: /account/login. Za URL /account/login važe oba, ali putanja allow pravila ima 14 znakova, a disallow pravila 8, pa je allow specifičnije i pobeđuje[1]. Stranica za prijavu ostaje dostupna crawlerima, a ostatak naloga ne. Kako se ovo uklapa u širi plan, objašnjavamo u vodiču za optimizaciju crawlovanja na Shopify Plus.
Robots.txt ili noindex
| Robots.txt disallow | Noindex | |
|---|---|---|
| Upravlja | Time da li crawler traži URL | Time da li se stranica prikazuje u rezultatima |
| Blokiran URL u Google-u | I dalje može da se pojavi, bez opisa[3] | Ispada kada Google ponovo crawluje stranicu |
| Zajedno? | Ne na istom URL-u: ako robots.txt blokira stranicu, Google nikada ne vidi noindex[9] | |
FAQ
Gde je robots.txt na Shopify-ju?
Na adresi vasdomen.rs/robots.txt. Shopify ga generiše automatski i ne možete da otpremite zamenu. Da biste ga promenili, dodajte temi šablon robots.txt.liquid, koji zamenjuje generisani fajl[5]. Obrišite šablon za povratak na podrazumevani[4].
Da li robots.txt uklanja stranicu iz Google-a?
Ne. Zaustavlja crawlovanje, ne indeksiranje, a blokiran URL može da se pojavi u rezultatima bez opisa[3]. Za uklanjanje koristite noindex i ostavite stranicu dostupnu, jer Google mora da je crawluje da bi video pravilo[9].
Mogu li da dodam crawl-delay?
Shopify šablon dozvoljava crawl-delay za pojedine crawlere[4], ali ga Google zanemaruje: podržava samo user-agent, allow, disallow i sitemap[2].
Da li da blokiram GPTBot?
Zavisi od cilja. Blokiranje GPTBot-a poručuje da se sadržaj ne koristi za treniranje, a OAI-SearchBot određuje da li se stranice pojavljuju u odgovorima ChatGPT pretrage[6]. Prodavnice koje žele AI vidljivost obično dozvoljavaju OAI-SearchBot i kada blokiraju GPTBot.
Ukratko
Robots.txt govori crawlerima koje URL-ove smeju da traže, po standardu RFC 9309. Upravlja crawlovanjem, ne indeksiranjem, i nije alat za zaštitu. Shopify-jev podrazumevani fajl već blokira admin, korpu, checkout, nalog i duplirane kolekcije, pa ga većina prodavnica nikada ne menja. Ako baš treba, koristite robots.txt.liquid na osnovu podrazumevanih grupa, proverite izlaz, a ako vam treba drugo mišljenje, naša Shopify SEO usluga počinje od crawlovanja i indeksiranja.
Izvori
Koristimo samo primarne izvore: zvaničnu dokumentaciju, stranice proizvoda i propise. Svaki link je proveren na navedeni datum.
- RFC Editor (IETF). RFC 9309: Robots Exclusion Protocol. Pristupljeno 18th Nov 2026.
- Google Search Central. How Google interprets the robots.txt specification. Pristupljeno 18th Nov 2026.
- Google Search Central. Introduction to robots.txt. Pristupljeno 18th Nov 2026.
- Shopify Help Center. Editing robots.txt.liquid. Pristupljeno 18th Nov 2026.
- Shopify. Customize robots.txt. Pristupljeno 18th Nov 2026.
- OpenAI. Overview of OpenAI crawlers. Pristupljeno 18th Nov 2026.
- Google Search Central. Google's common crawlers (Google-Extended). Pristupljeno 18th Nov 2026.
- Google Search Console Help. robots.txt report. Pristupljeno 18th Nov 2026.
- Google Search Central. Block Search indexing with noindex. Pristupljeno 18th Nov 2026.
Treba vam ovo u prodavnici?
Pogledajte usluguChecklista koju prolazimo pre nego što dotaknemo kod klijenta
Stiže vam na email, uz nekoliko kratkih poruka u naredne dve nedelje: šta najčešće vidimo na Shopify prodavnicama i šta zaista pomaže.