Ma már mi magunk határozhatjuk meg azt, hogy portálunk pontosan milyen részeket mutasson meg a google robotjai számára, éppen ezért fontos, hogy ezekkel az alapdolgokkal tisztában legyünk. Létezik az úgynevezett robot.txt file, amelynek köszönhetően pontosan azokat a részeket mutathatjuk meg a keresőoptimalizálás szempontjából tevékenykedő robotoknak, amelyeket szeretnénk.

Tehát ha szeretnénk bármit is elrejteni előlük, azt könnyedén megtehetjük. Azonban azzal is legyünk tisztában, hogy ennek a fajta módszernek van némi hátulütője, amely a későbbiek során akár problémát is okozhat.

Tulajdonképpen nem kényszeríti a robotokat semmire, azonban ad nekik némi irányelvet, hogy pontosan hogyan is kell működniük, vagy hogy éppen mit is csináljanak. Ami viszont igazán fontos, hogy a robot.txt csakis a google robotjai számára ad útmutatást, az egyéb robotoknak azonban nem. A keresőoptimalizálás kapcsán éppen ezért a programozás ezen részét is vegyük figyelembe, hiszen csakis ebben az esetben érhetjük el azt, hogy maga a folyamat teljes egészében biztonságos, ez mellett pedig megbízható is legyen.