<div dir="ltr">Attached an illustration for my thesis.<br>The average classification rate can be considered significant, while we clearly see that it is not exactly true...<br><div style="padding: 0px; overflow: hidden; visibility: hidden; left: -5000px; position: absolute; z-index: 9999; margin-left: 0px; margin-top: 0px; word-wrap: break-word; color: black; font-size: 10px; text-align: left; line-height: 130%;" id="avg_ls_inline_popup">

</div><br><div class="gmail_quote">On Mon, May 23, 2011 at 1:26 PM, Vadim Axel <span dir="ltr"><<a href="mailto:axel.vadim@gmail.com">axel.vadim@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">

<div dir="ltr">Hi,<br><br><div style="padding: 0px; overflow: hidden; margin-left: 0px; margin-top: 0px; word-wrap: break-word; color: black; font-size: 10px; text-align: left; line-height: 130%;">
</div>One more issue, which I had never seen to be mentioned in the papers: <br>Two classes classification rate is the confusion matrix diagonal average. Things are fine as soon as both values are above 0.5. But what if one of them is let's say 0.7 and the other one is 0.45? All significance procedures (permutation, group t-test whatever) work on average values. Thus, my obscure average mean would be treated as a first class citizen and contribute to beyond chance prediction. Clearly, one have to check the results before averaging, but they are never reported (at I least I have never seen). For example, I can require that  p-values for both classes should be significant. However, then, I am afraid, I may get a chart with two ROIs with similar average prediction rate when one is highly significant and another one is completely not. Nobody would understand what is going on... <br>



<br>Any suggestions / thoughts?<br><br>Thanks,<br>Vadim<br><br><br><br><br><div style="padding: 0px; overflow: hidden; margin-left: 0px; margin-top: 0px; word-wrap: break-word; color: black; font-size: 10px; text-align: left; line-height: 130%;">



</div></div>
</blockquote></div><br></div>