User-Agent: *
Allow: /index.html
Allow: /text
Allow: /linkchecker
Allow: /htdocs
Allow: /
Allow: /web
Allow: /ip