Back to Question Center
0

Semalt: robots.txt: blokkere alle nettsider bortsett fra noen få websider?

1 answers:

Jeg har noen tvil om roboter. txt . Si, domenet mitt er stackoverflow. com ,

A) Vil koden nedenfor gjøre følgende for alle crawlere?

     Brukeragent: *Tillat: /Tillat: / $
Tillat: / a / $
Tillat: / a / login. php
Tillat: / a / login. php? returnere = / Pligg /    
(1 - oculos sol ray ban masculino polarizado. 3)
  • Godta http: // stackoverflow. com / vil akseptere http: // stackoverflow. com også?

  • Godta http: // stackoverflow. com / a /

  • Godta http: // stackoverflow. com / a / login. php

  • Godta http: // stackoverflow. com / a / login. php? return = / pligg /

  • Ikke godta noen annen side på http: // stackoverflow. com

  • B) Som er riktig: roboter. txt eller robot. txt ?

    February 13, 2018