<div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="im">I guess you should generate the pairs yourself.</div></blockquote><div><br></div>
<div>Maybe I should phrase it differently then: why isn't pairwise classification the default? Is it somehow inferior? Has some bias? I've never used multiclass classification so I am not sure about the differences between the two approaches.</div>
<div><br></div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">But pay attention that estimating the accuracy using "all" possible pairs of the<br>

test set incurs in an optimisitc bias. The pairs are not independent since<br>
they sometimes share one element. Having a test set of non-independent<br>
examples leads to optimistic bias. In order not to have that bias you should<br>
use instead the subset of non-overlapping pairs.<br></blockquote><div><br></div><div>Thanks! I'm well aware of non-indepence issues.</div><div><br></div><div>Jonas</div></div>