<div dir="ltr">Hi Jo and all other experts,<div><br></div><div>Thanks for your reply! Indeed that was the concern for me. For my first try, I simply transformed the accuracy by normalization taking into account of the trail numbers. For example, if the accuracy is 70%, I would convert it by <b>(0.7-0.5)/sqrt(0.5*0.5/n)</b>, where n = the number of total testing examples.</div><div><br></div><div>I hope this is valid?</div><div><br></div><div>I tried the Lee 2012 mean correction method, and yields very similar results.</div><div><br></div><div>Have not tried the Logit mixed models yet, though.</div><div><br></div><div>Best,</div><div>Frances</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, May 11, 2015 at 10:04 AM, J.A. Etzel <span dir="ltr"><<a href="mailto:jetzel@wustl.edu" target="_blank">jetzel@wustl.edu</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">To inject a slightly different topic: while I and many others have done t-tests on accuracies (equivalently, error rates) for group-level analyses and gotten sensible-looking results, this is probably not ideal: accuracies are bounded by 0 and 1, which violates the assumptions of t-tests (and similar statistics).<br>
<br>
Logit mixed models may be a better parametric test for the group level. I've found some readable introductions to these issues in the linguistics literature, such as this one:<br>
<br>
<a href="http://dx.doi.org/10.1016%2Fj.jml.2007.11.007" target="_blank">http://dx.doi.org/10.1016%2Fj.jml.2007.11.007</a><br>
Categorical Data Analysis: Away from ANOVAs (transformation or not) and towards Logit Mixed Models<br>
T. Florian Jaeger   J Mem Lang. 2008 Nov; 59(4): 434–446.<br>
<br>
I haven't yet started playing with these for MVPA datasets; anyone tried?<br>
<br>
I don't want to imply that logit mixed models (or t-tests) are better than permutation methods; permutation-based tests are almost certainly preferable, particularly with cross-validated statistics. However, it is sometimes useful to have a quick parametric statistic as well; but this should perhaps not be a t-test.<br>
<br>
Jo<div><div class="h5"><br>
<br>
<br>
<br>
On 5/9/2015 11:49 AM, Jingwen Jin wrote:<br>
</div></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><div class="h5">
<br>
Hi MVPA experts,<br>
<br>
I have a general question about conducting group-level analysis on the<br>
subjects' classification accuracy maps. Let's say I am doing a<br>
one-sample t-test to find the voxels that have high classification<br>
accuracy across subjects. Essentially, I am doing a t-test on percentage<br>
numbers (SVM classification accuracy measured as percentage correct).<br>
Since percentage is highly affected by the testing example numbers, and<br>
in general would probably not meet the normal distribution assumption<br>
for t-test.<br>
<br>
So my question is if people adjust for testing trial numbers or any sort<br>
of transformation? For example, I converted each voxel's percentage<br>
number to a z score at the individual subject's classification map<br>
level, and then do group-level t-test on these z score maps. I wonder if<br>
this is valid?<br>
<br>
Thank you very much!<br>
<br>
Best,<br>
Frances<br>
--<br>
Jingwen Frances Jin<br>
Department of Psychology, PhD candidate in Clinical area<br>
Stony Brook University<br>
<br>
<br></div></div><span class="">
_______________________________________________<br>
Pkg-ExpPsy-PyMVPA mailing list<br>
<a href="mailto:Pkg-ExpPsy-PyMVPA@lists.alioth.debian.org" target="_blank">Pkg-ExpPsy-PyMVPA@lists.alioth.debian.org</a><br>
<a href="http://lists.alioth.debian.org/cgi-bin/mailman/listinfo/pkg-exppsy-pymvpa" target="_blank">http://lists.alioth.debian.org/cgi-bin/mailman/listinfo/pkg-exppsy-pymvpa</a><br>
<br>
</span></blockquote><div class="HOEnZb"><div class="h5">
<br>
_______________________________________________<br>
Pkg-ExpPsy-PyMVPA mailing list<br>
<a href="mailto:Pkg-ExpPsy-PyMVPA@lists.alioth.debian.org" target="_blank">Pkg-ExpPsy-PyMVPA@lists.alioth.debian.org</a><br>
<a href="http://lists.alioth.debian.org/cgi-bin/mailman/listinfo/pkg-exppsy-pymvpa" target="_blank">http://lists.alioth.debian.org/cgi-bin/mailman/listinfo/pkg-exppsy-pymvpa</a><br>
</div></div></blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature"><div dir="ltr">Jingwen Frances Jin<div>Department of Psychology</div><div>Stony Brook University</div></div></div>
</div>