The gopher proxy & archive ( <a href="http://gopher-project:gpa-test-675@gpa.internetearth.com/">http://gopher-project:gpa-test-675@gpa.internetearth.com/</a> ) should now pay attention to robots.txt exclusion rules. I haven't tested this extensively, but it seems to work. Does anybody know of any gopher pages that have been blocked by robots.txt so I can test?<br>
<br>Also, the spider will begin crawling gopherspace shortly.<br>