<div dir="ltr">There are six subjects (rows)<br>Class 1 and Class 2 are correct predictions of each class (two values on the diagonal of the confusion matrix). The Total column is the average between them.<br><br><div style="padding: 0px; overflow: hidden; visibility: hidden; left: -5000px; position: absolute; z-index: 9999; margin-left: 0px; margin-top: 0px; word-wrap: break-word; color: black; font-size: 10px; text-align: left; line-height: 130%;" id="avg_ls_inline_popup">

</div><div class="gmail_quote">On Wed, May 25, 2011 at 3:24 PM, J.A. Etzel <span dir="ltr"><<a href="mailto:jetzel@artsci.wustl.edu">jetzel@artsci.wustl.edu</a>></span> wrote:<br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">

I'm missing something here: where are the "class 1" and "class 2" numbers for each person coming from?<br>
<br>
I agree that describing the results of a multiclass classification is tricky, especially when using something naturally two-class like svms. Reporting the multiclass accuracy rate, then the pairwise ones seems most prudent.<br>


<br>
Jo<div class="im"><br>
<br>
<br>
On 5/24/2011 2:09 AM, Vadim Axel wrote:<br>
</div><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;"><div class="im">
Attached an output of one such pathological case (completely real data).<br>
I even do not talk about splits. It's sufficient that for half subjects<br>
you have 0.8/0.4 prediction and for other half you have 0.4/0.8...<br>
<br>
For more than two classes it really becomes hardly maintainable. I<br>
recently had 5 classes experiment and I ended up reporting each classes<br>
separately.<br>
<br>
On Mon, May 23, 2011 at 11:01 PM, Yaroslav Halchenko<br></div><div class="im">
<<a href="mailto:debian@onerussian.com" target="_blank">debian@onerussian.com</a> <mailto:<a href="mailto:debian@onerussian.com" target="_blank">debian@onerussian.com</a>>> wrote:<br>
<br>
    it is a good thesis indeed, especially for the case of multiclass<br>
    classification where people make claims about unraveling complex<br>
    categorical structure, whenever it is only few categories which get<br>
    "significantly" well classified.<br>
<br>
    And your illustration goes even further than your verbal description --<br>
    at first I thought that there is an error, since I expected at least one<br>
    class to be significant when "average" accuracy becomes significant.<br>
    But indeed it might be not the case, e.g. if a classifier favors one<br>
    class over another across splits, thus none of the classes come out with<br>
    a consistently "significant" performance while mean accuracy does (could<br>
    you check if that is indeed the case by looking on per split<br>
    diagonals?). Cool.  I always thought that digging in the mud is<br>
    very entertaining ;)<br>
<br>
    On Mon, 23 May 2011, Vadim Axel wrote:<br>
<br>
     > Attached an illustration for my thesis.<br>
     > The average classification rate can be considered significant,<br>
    while we<br>
     > clearly see that it is not exactly true...<br>
<br>
</div></blockquote><div><div></div><div class="h5">
<br>
_______________________________________________<br>
Pkg-ExpPsy-PyMVPA mailing list<br>
<a href="mailto:Pkg-ExpPsy-PyMVPA@lists.alioth.debian.org" target="_blank">Pkg-ExpPsy-PyMVPA@lists.alioth.debian.org</a><br>
<a href="http://lists.alioth.debian.org/cgi-bin/mailman/listinfo/pkg-exppsy-pymvpa" target="_blank">http://lists.alioth.debian.org/cgi-bin/mailman/listinfo/pkg-exppsy-pymvpa</a><br>
</div></div></blockquote></div><br></div>