<div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">Thank you for your response Jo.</div><div class="gmail_quote"><br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">You don't want to try something like Stelzer's method (or any statistical test, really) until you're sure the single subject analyses are sensible. Do the actual classification accuracy maps for each person look reasonable? If every searchlight is classifying at 100% accuracy, something is obviously wrong with the analysis code and you should fix that first.<br></blockquote><div><br></div><div>The group mean histogram looks a gaussian peaked at 0.57 accuracy, I think it is reasonable.</div><div>The problem, I think, is the cross-validation scheme since I had 66 values of accuracy each voxel, when I average withing subjects, across folds, I have a map that is almost above chance for each voxel, when I perform a simple t-test vs chance, across-subjects, I have all (or almost all) voxels significant! </div><div>So I would like to know if my cross-validation scheme and approach is good or try a different statistic, before run Stelzer's method. </div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
It's usually good to start by classifying something that should be a strong signal in easily-predicted areas (e.g., which response button was pushed, which should have signal in motor areas). Then you can make sure your cross-validation scheme, event coding, etc. is set up properly before trying your actual analysis.</blockquote><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
<br>
Also, you say the dataset is unbalanced, but has 12 runs, each with 10 trials, half A and half B. That sounds balanced to me</blockquote><div><br></div><div>I'm sorry I explained it badly! </div><div>I classified in few subject the motor response with good accuracies, but now I would like to decode decision, since is a decision task, which is the main reason why my dataset is unbalanced. Stimuli are balanced, since the subject views half A and half B, but he has to respond if the stimulus is either A or B, thus I could have runs with unbalanced condition (e.g. 8 A vs 2 B, etc.).</div><div><br></div><div>Then if it is suggested to run different cv scheme and Stelzer's method, I will... :)</div><div><br></div><div>Thank you</div><div>Roberto</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"> ...<br>
<br>
Jo<div><div class="h5"><br>
<br>
<br>
<br>
On 2/25/2016 9:43 AM, Roberto Guidotti wrote:<br>
</div></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div><div class="h5">
Hi all mvpaers,<br>
<br>
I need some theoretical help!<br>
<br>
I did some analysis on a unbalanced dataset, 12 runs with 10 trials (5<br>
condition A, 5 condition B), so I got 120 samples. Since I had an<br>
unbalanced dataset, I could have a run with 7A vs 3B or also a 9A vs 1B<br>
samples and/or viceversa.<br>
I analyzed the dataset balancing samples in each run, using a leave TWO<br>
run cross-validation (L2ROCV) searchlight, in order to have more<br>
combination of samples to train the dataset and the same for the testing<br>
set, I didn't analyze the dataset using different balancing since the<br>
searchlight in a L2ROCV is high time consuming and I had 25 subjects<br>
with 3 unbalanced dataset per subject!! :\<br>
<br>
Now, my questions are these:<br>
<br>
1) I used a good approach to analyze the dataset or you suggest a<br>
different approach?<br>
<br>
2) I did an average map of the 66 cross-validation map I obtained for<br>
each subject; to do a first exploratory analysis I did a simple t-test<br>
versus chance level (I didn't do the Stelzer's method because of the<br>
computational time) and I had almost all voxels significative (not<br>
corrected), because of the L2ROCV, I think. So do you think I can do<br>
other more robust statistical tests using these maps? Or I have to do<br>
the Stelzer's method? Or throw away the searchlight maps?<br>
<br>
Thank you!!<br>
Roberto<br>
<br>
<br></div></div>
_______________________________________________<br>
Pkg-ExpPsy-PyMVPA mailing list<br>
<a href="mailto:Pkg-ExpPsy-PyMVPA@lists.alioth.debian.org" target="_blank">Pkg-ExpPsy-PyMVPA@lists.alioth.debian.org</a><br>
<a href="http://lists.alioth.debian.org/cgi-bin/mailman/listinfo/pkg-exppsy-pymvpa" rel="noreferrer" target="_blank">http://lists.alioth.debian.org/cgi-bin/mailman/listinfo/pkg-exppsy-pymvpa</a><br>
<br><span class=""><font color="#888888">
</font></span></blockquote><span class=""><font color="#888888">
<br>
-- <br>
Joset A. Etzel, Ph.D.<br>
Research Analyst<br>
Cognitive Control & Psychopathology Lab<br>
Washington University in St. Louis<br>
<a href="http://mvpa.blogspot.com/" rel="noreferrer" target="_blank">http://mvpa.blogspot.com/</a><br>
<br>
_______________________________________________<br>
Pkg-ExpPsy-PyMVPA mailing list<br>
<a href="mailto:Pkg-ExpPsy-PyMVPA@lists.alioth.debian.org" target="_blank">Pkg-ExpPsy-PyMVPA@lists.alioth.debian.org</a><br>
<a href="http://lists.alioth.debian.org/cgi-bin/mailman/listinfo/pkg-exppsy-pymvpa" rel="noreferrer" target="_blank">http://lists.alioth.debian.org/cgi-bin/mailman/listinfo/pkg-exppsy-pymvpa</a><br>
</font></span></blockquote></div><br></div></div>