<html><head></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; "><div><div>On May 18, 2011, at 3:54 PM, Yaroslav Halchenko wrote:</div><blockquote type="cite"><div><font class="Apple-style-span" color="#000000"><br></font>exactly! &nbsp;additional example to appreciate the topic:<br><br>which of the two cases in case of binary classification you would prefer to see<br>as the "significant" or trustful result? ;)<br><br> &nbsp;&nbsp;0.60000 &nbsp;&nbsp;0.70000 &nbsp;&nbsp;0.80000 &nbsp;&nbsp;0.90000 &nbsp;&nbsp;1.00000<br><br>or<br><br> &nbsp;&nbsp;0.51000 &nbsp;&nbsp;0.52000 &nbsp;&nbsp;0.53000 &nbsp;&nbsp;0.54000 &nbsp;&nbsp;0.55000<br><br>which, if I didn't get it wrong should have the same t-score against the chance<br>level of 0.5 ;-)<br><br>in other additional words: who said that raw accuracies are normally<br>distributed? ;)<br><br>But since it is a common practice, Vadim please do not take those words<br>above as the "stop sign". &nbsp;Just keep in mind the "effect size" ;)<br></div></blockquote></div><br><div>This is an issue I have been thinking about quite a bit recently, as we have used t-tests across subjects in the past (after checking for violation of normalcy and also performing arsine transformation), however I'm no longer convinced it's a great idea, and the main reason for me comes down to interpretation. &nbsp; The interesting hypothetical case to my mind is where a t-test is significant across subjects, but no single subject has significant performance according to a within-subject permutation test. &nbsp; How would we interpret such a result?&nbsp;</div><div><br></div><div>A related issue is, what does it mean to have prediction performance that is consistently above chance in all subjects, but so small that prediction is still practically speaking pretty bad? &nbsp;What conclusions does that case allow us to draw about the underlying neural representations? Yes, they contain more information about the stimuli than pure noise would... but is that meaningful? &nbsp;The problem is I'm not sure what an alternative criterion would be. &nbsp;The example quoted above appeals to some sense of this... clearly we want the performance numbers to be higher, but what objective standard do we have other than statistical significance?&nbsp;</div><div><br></div><div>Just a bit of rambling...</div><div><br></div><div>-Jonas</div><div><br></div><div><div>----</div><div>Jonas Kaplan, Ph.D.<br>Research Assistant Professor<br>Brain &amp; Creativity Institute<br>University of Southern California</div></div></body></html>