Hello everybody,<br><br>I'm facing a big pb with my search engine/crawler.<br><br>The crawler sends selectors that don't exists sometimes. (Updated / removed / don't exists / whatever)<br><br>I use to handle error like that :<br>
1) parse response<br>2) Try to parse as Menu<br>3) If the first item of the menu is '3' error item type then ERROR<br><br>But this method don't works. Mainly because some servers reply very odd responses <br><br>
Some old servers sends that :<br><br><b><span style="color:rgb(255,0,0)">BAD:</span></b><br>
<span style="color:rgb(153,0,0)">==> 0Sorry, but the requested token could not be found<TAB>Err<TAB>localhost<TAB>70</span><br>
gopher://<a href="http://wss-ds.no-ip.info:70/0/robots.txt">wss-ds.no-ip.info:70/0/robots.txt</a><br>
<br>
<span style="color:rgb(153,0,0)">==> 0'/robots.txt' does not exist<TAB><TAB>error.host<TAB>1</span><br>
gopher://<a href="http://gdead.berkeley.edu:70/0/robots.txt">gdead.berkeley.edu:70/0/robots.txt</a><br>
gopher://<a href="http://net.bio.net:70/0/robots.txt">net.bio.net:70/0/robots.txt</a><br>
gopher://<a href="http://newkraitch.cs.berkeley.edu:70/0/robots.txt">newkraitch.cs.berkeley.edu:70/0/robots.txt</a><br>
gopher://<a href="http://nemesis.cs.berkeley.edu:70/0/robots.txt">nemesis.cs.berkeley.edu:70/0/robots.txt</a><br>
gopher://<a href="http://quix.us:70/0/robots.txt">quix.us:70/0/robots.txt</a><br>
<br>
<span style="color:rgb(153,0,0)">=> <Empty String></span><br>
gopher://<a href="http://sdf.org:79/0/robots.txt">sdf.org:79/0/robots.txt</a><br>
<br>
<span style="color:rgb(153,0,0)">=> finger: /robots.txt: no such user</span><br>
gopher://<a href="http://holviala.com:79/0/robots.txt">holviala.com:79/0/robots.txt</a><br>
<br>
<br>
<b><span style="color:rgb(0,153,0)">GOOD:</span><br style="color:rgb(0,153,0)">
  <span style="color:rgb(0,153,0)">gopher://<a href="http://gopher.r-36.net:70/0/robots.txt">gopher.r-36.net:70/0/robots.txt</a></span><br style="color:rgb(0,153,0)">
  <span style="color:rgb(0,153,0)">gopher://<a href="http://jgw.mdns.org:70/0/robots.txt">jgw.mdns.org:70/0/robots.txt</a></span><br style="color:rgb(0,153,0)">
  <span style="color:rgb(0,153,0)">gopher://<a href="http://grids.be:70/0/robots.txt">grids.be:70/0/robots.txt</a></span><br style="color:rgb(0,153,0)">
  <span style="color:rgb(0,153,0)">gopher://<a href="http://schot.a-eskwadraat.nl:70/0/robots.txt">schot.a-eskwadraat.nl:70/0/robots.txt</a></span><br style="color:rgb(0,153,0)">
  <span style="color:rgb(0,153,0)">gopher://<a href="http://www.quux.org:70/0/robots.txt">www.quux.org:70/0/robots.txt</a></span><br style="color:rgb(0,153,0)">
  <span style="color:rgb(0,153,0)">gopher://<a href="http://dams.zapto.org:70/0/robots.txt">dams.zapto.org:70/0/robots.txt</a></span><br style="color:rgb(0,153,0)">
  <span style="color:rgb(0,153,0)">gopher://<a href="http://go.nickshanks.com:70/0/robots.txt">go.nickshanks.com:70/0/robots.txt</a></span></b><br><br><br>
It's very strange. I can understand the "Empty String" could be an easy 
implementation. But others servers sends Menu with 0 items as info... <br><br>Does it old implementations ?<br clear="all"><br>-- <br>Damien CAROL<br>
<a href="gopher://dams.zapto.org/1/" target="_blank">gopher://dams.zapto.org/1/</a><br>