<div dir="ltr">Thank you.<br>Consider the simplest case, that I do not have other dimensions confounds (like a color, contrast etc). I agree with you that all it&#39;s about distinguishing the information from data. However, if my classifier confused significantly more times middle with large, then small with large, then from its point of view the middle one looks more close to large, than the small does. Although I can not know for 100% that it &#39;s a stimulus size which was the root cause of this effect, I can suppose so.  In contrast, if I pick randomly three objects and classify them, although my hit rate might be beyond the chance for all of them, the trend I am talking about may differ from subject to subject. <br>

<br><div style="visibility: hidden; display: inline;" id="avg_ls_inline_popup"></div><style type="text/css">#avg_ls_inline_popup {  position:absolute;  z-index:9999;  padding: 0px 0px;  margin-left: 0px;  margin-top: 0px;  width: 240px;  overflow: hidden;  word-wrap: break-word;  color: black;  font-size: 10px;  text-align: left;  line-height: 13px;}</style><div class="gmail_quote">

On Fri, May 14, 2010 at 9:07 PM,  <span dir="ltr">&lt;<a href="mailto:josef.pktd@gmail.com">josef.pktd@gmail.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">

<div class="im">On Fri, May 14, 2010 at 2:27 PM, Vadim Axel &lt;<a href="mailto:axel.vadim@gmail.com">axel.vadim@gmail.com</a>&gt; wrote:<br>
&gt; Fine, thanks.<br>
&gt; So, then, the interpretation of mutli-class confusion can be misleading.<br>
&gt; I have one more related question:<br>
&gt; Does it make sense to interpret the confusion matrix off-diagonal values as<br>
&gt; a tuning? For example, if my three classes are the circles of three<br>
&gt; different size. For the row of the large circle I get 0.6 classified as<br>
&gt; large (the correct one), 0.3 as a medium and 0.1 as a small. Can I say that<br>
&gt; I get sort of tuning to circle size?<br>
<br>
</div>I&#39;m not sure I understand the term tuning in this context<br>
(I&#39;m not a classification expert, but I like puzzles.)<br>
<br>
To me, these are just probabilities that depend on the distinguishing<br>
information that is in the data, and how well the classifier is able<br>
to distinguish the separating characteristics.<br>
<br>
If your circles also have color, then a color sensitive classifier<br>
might end up with a different confusion matrix than a size (or shape)<br>
sensitive classifier. In that sense the classifier in your example is<br>
&quot;atuned&quot; or sensitive to size (and size is a distinguishing<br>
characteristic).<br>
<br>
But as in your initial paradox, I could imagine other cases, e.g. the<br>
middle sized circle is further away and clearly defined, while middle<br>
and large (1 and 3) are fuzzy and close to each other, then the large<br>
and small circles would be more often confused with each other, than<br>
with 2.<br>
<br>
I hope this makes some kind of sense.<br>
<br>
Josef<br>
<div><div></div><div class="h5"><br>
<br>
&gt;<br>
&gt; Thanks again.<br>
&gt;<br>
&gt;<br>
&gt; On Fri, May 14, 2010 at 4:29 PM, &lt;<a href="mailto:josef.pktd@gmail.com">josef.pktd@gmail.com</a>&gt; wrote:<br>
&gt;&gt;<br>
&gt;&gt; On Fri, May 14, 2010 at 9:20 AM, Vadim Axel &lt;<a href="mailto:axel.vadim@gmail.com">axel.vadim@gmail.com</a>&gt; wrote:<br>
&gt;&gt; &gt; Hi guys,<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; I apply multi-class major voting scheme for three classes (all pairs<br>
&gt;&gt; &gt; classification). I try to understand how the confusion matrix should<br>
&gt;&gt; &gt; look<br>
&gt;&gt; &gt; like when two classes in a pair classification are not discriminated<br>
&gt;&gt; &gt; (chance<br>
&gt;&gt; &gt; level). Consider pathological case where classes 1,2 and 2,3 are<br>
&gt;&gt; &gt; classified<br>
&gt;&gt; &gt; with 100% and 1,3 are at chance level (50%). The confusion matrix I<br>
&gt;&gt; &gt; which<br>
&gt;&gt; &gt; get looks like:<br>
&gt;&gt; &gt; 0.584    0.083    0.333<br>
&gt;&gt; &gt; 0    1    0<br>
&gt;&gt; &gt; 0.327    0.071    0.602<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; So, all of sudden it seems that classes 1 and 3 are discriminated. Isn&#39;t<br>
&gt;&gt; &gt; it<br>
&gt;&gt; &gt; paradoxical?<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; When I checked out how I get this result, I have found that it indeed<br>
&gt;&gt; &gt; makes<br>
&gt;&gt; &gt; sense. Consider class 1 as a correct label:<br>
&gt;&gt; &gt; pair 1: the classification of classes 1,2 always results in &#39;1&#39; (we are<br>
&gt;&gt; &gt; at<br>
&gt;&gt; &gt; 100%, by definition)<br>
&gt;&gt; &gt; pair 2: the classification of classes 1,3 results in half trials in &#39;1&#39;<br>
&gt;&gt; &gt; and<br>
&gt;&gt; &gt; other half in &#39;3&#39; (we are at chance by definition).<br>
&gt;&gt; &gt; pair 3: the classification of classes 2,3 results in half trials in &#39;2&#39;<br>
&gt;&gt; &gt; and<br>
&gt;&gt; &gt; other in &#39;3&#39; (in case that classes are unrelated, the classifier should<br>
&gt;&gt; &gt; be<br>
&gt;&gt; &gt; at chance here).<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; The bottom line: since all (1) pairs and half (2) pairs results in &#39;1&#39;,<br>
&gt;&gt; &gt; I am<br>
&gt;&gt; &gt; already at 50% hit rate for correct class.<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; What do you think about all this? Is there any flaw in my logic?<br>
&gt;&gt; &gt; If someone is interested, I can send my matlab simulation.<br>
&gt;&gt;<br>
&gt;&gt; looks right to me if the tie-breaker is unbiased<br>
&gt;&gt;<br>
&gt;&gt; Probs if 1 is tru:<br>
&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt; 0.5*0.5 + 0.5*0.5/3.   # 3 wins, by majority and tie-breaker<br>
&gt;&gt; 0.33333333333333331<br>
&gt;&gt; &gt;&gt;&gt; 0.5*0.5/3.   # 2 wins, by tie-breaker<br>
&gt;&gt; 0.083333333333333329<br>
&gt;&gt; &gt;&gt;&gt; 1-(0.5*0.5 + 0.5*0.5/3. + 0.5*0.5/3.)  # 1 wins<br>
&gt;&gt; 0.58333333333333337<br>
&gt;&gt;<br>
&gt;&gt; Josef<br>
&gt;&gt;<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; Thanks for help,<br>
&gt;&gt; &gt; Vadim<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; _______________________________________________<br>
&gt;&gt; &gt; Pkg-ExpPsy-PyMVPA mailing list<br>
&gt;&gt; &gt; <a href="mailto:Pkg-ExpPsy-PyMVPA@lists.alioth.debian.org">Pkg-ExpPsy-PyMVPA@lists.alioth.debian.org</a><br>
&gt;&gt; &gt; <a href="http://lists.alioth.debian.org/mailman/listinfo/pkg-exppsy-pymvpa" target="_blank">http://lists.alioth.debian.org/mailman/listinfo/pkg-exppsy-pymvpa</a><br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt;<br>
&gt;&gt;<br>
&gt;&gt; _______________________________________________<br>
&gt;&gt; Pkg-ExpPsy-PyMVPA mailing list<br>
&gt;&gt; <a href="mailto:Pkg-ExpPsy-PyMVPA@lists.alioth.debian.org">Pkg-ExpPsy-PyMVPA@lists.alioth.debian.org</a><br>
&gt;&gt; <a href="http://lists.alioth.debian.org/mailman/listinfo/pkg-exppsy-pymvpa" target="_blank">http://lists.alioth.debian.org/mailman/listinfo/pkg-exppsy-pymvpa</a><br>
&gt;<br>
&gt;<br>
&gt; _______________________________________________<br>
&gt; Pkg-ExpPsy-PyMVPA mailing list<br>
&gt; <a href="mailto:Pkg-ExpPsy-PyMVPA@lists.alioth.debian.org">Pkg-ExpPsy-PyMVPA@lists.alioth.debian.org</a><br>
&gt; <a href="http://lists.alioth.debian.org/mailman/listinfo/pkg-exppsy-pymvpa" target="_blank">http://lists.alioth.debian.org/mailman/listinfo/pkg-exppsy-pymvpa</a><br>
&gt;<br>
&gt;<br>
<br>
_______________________________________________<br>
Pkg-ExpPsy-PyMVPA mailing list<br>
<a href="mailto:Pkg-ExpPsy-PyMVPA@lists.alioth.debian.org">Pkg-ExpPsy-PyMVPA@lists.alioth.debian.org</a><br>
<a href="http://lists.alioth.debian.org/mailman/listinfo/pkg-exppsy-pymvpa" target="_blank">http://lists.alioth.debian.org/mailman/listinfo/pkg-exppsy-pymvpa</a><br>
</div></div></blockquote></div><br></div>