<div dir="ltr">Hi All and Kim (author of Gophernicus!),<div><br></div><div>I wrote this little cralwer today: <a href="https://gist.github.com/b781e02b0299fef1f3f6">https://gist.github.com/b781e02b0299fef1f3f6</a></div><div><br></div><div>I'm a bit disappointed in performance though of crawling my local Gopehrspace (basically via localhost):</div><div><br></div><div><div>prologic@daisy</div><div>Mon Dec 15 15:13:08 </div><div>~/tmp</div><div>$ time ./gspider.py &> index</div><div><br></div><div>real<span class="" style="white-space:pre">        </span>5m27.825s</div><div>user<span class="" style="white-space:pre">      </span>0m6.126s</div><div>sys<span class="" style="white-space:pre">        </span>0m5.825s</div><div><br></div><div>prologic@daisy</div><div>Mon Dec 15 15:18:51 </div><div>~/tmp</div><div>$ wc -l index </div><div>355 index</div></div><div><br></div><div>Any comments? :)</div><div><br></div><div>cheers</div><div>James</div><div><div><div class="gmail_signature"><span style="border-collapse:collapse;color:rgb(136,136,136);font-size:13px"><br><font face="arial, sans-serif">James Mills / prologic</font><br><br><font face="arial, sans-serif"></font><font face="'courier new', monospace">E: <a href="mailto:prologic@shortcircuit.net.au" style="color:rgb(0,0,204)" target="_blank">prologic@shortcircuit.net.au</a></font></span><div><span style="font-family:'courier new',monospace;color:rgb(136,136,136);font-size:13px">W: </span><a href="http://prologic.shortcircuit.net.au" style="font-family:'courier new',monospace;font-size:13px;color:rgb(0,0,204)" target="_blank">prologic.shortcircuit.net.au</a><br></div></div></div>
</div></div>