<div dir="ltr"><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Dec 29, 2014 at 9:42 AM, Cameron Kaiser <span dir="ltr"><<a href="mailto:spectre@floodgap.com" target="_blank">spectre@floodgap.com</a>></span> wrote:<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div id=":6gr" class="a3s" style="overflow:hidden">FWIW, I throttled several minutes between requests to the same IP (or would<br>
find another to visit in the meantime) and I always honour robots.txt if it<br>
can be fetched (and cache it).<br>
<br>
However, since V-2 only fetches menus and has a well-known reverse DNS, I<br>
imagine sites are a little friendlier to me.</div></blockquote></div><br>Good points for anyone wanting to experiment with</div><div class="gmail_extra">crawling and full-text search engines (i.e: me).</div><div class="gmail_extra"><br></div><div class="gmail_extra">I'll try to keep this in mind :)</div><div class="gmail_extra"><br></div><div class="gmail_extra">@Cameron: How do you presently find new Gopher servers? Manually via email and through discovery of other Gopher servers?</div><div class="gmail_extra"><br></div><div class="gmail_extra">cheers</div><div class="gmail_extra">James<br><br clear="all"><div><div class="gmail_signature"><span style="border-collapse:collapse;color:rgb(136,136,136);font-size:13px"><br><font face="arial, sans-serif">James Mills / prologic</font><br><br><font face="arial, sans-serif"></font><font face="'courier new', monospace">E: <a href="mailto:prologic@shortcircuit.net.au" style="color:rgb(0,0,204)" target="_blank">prologic@shortcircuit.net.au</a></font></span><div><span style="font-family:'courier new',monospace;color:rgb(136,136,136);font-size:13px">W: </span><a href="http://prologic.shortcircuit.net.au" style="font-family:'courier new',monospace;font-size:13px;color:rgb(0,0,204)" target="_blank">prologic.shortcircuit.net.au</a><br></div></div></div>
</div></div>