<div dir="ltr">> If you need to stick to
cross-validation within people, I'd prefer splitting the dataset into two
halves.<br>>It's sometimes surprising how
decent performance can be even with fairly few examples; often classifying
with say, only 6 highly temporally compressed images in the training set
will do better than using a few dozen less compressed images.<br><br>Thanks for your suggestions, we tried split half and performance significantly dropped. All the blobs we saw before disappeared (using GNB serachlight). Can you elaborate your point about temporal compression? Do you mean not to model each trial separately, but multiple trials together? How many trials? should they be consecutive?<br></div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, May 31, 2016 at 3:53 AM, J.A. Etzel <span dir="ltr"><<a href="mailto:jetzel@wustl.edu" target="_blank">jetzel@wustl.edu</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">


<div>
<div style="color:black">
<div style="color:black">
<p style="margin:0 0 1em 0;color:black">It's sometimes surprising how
decent performance can be even with fairly few examples; often classifying
with say, only 6 highly temporally compressed images in the training set
will do better than using a few dozen less compressed images. Similarly, I
suggest not dismissing the possibility of across-subjects classification
out of hand; it can work quite well. </p>
<p style="margin:0 0 1em 0;color:black">Correlation-based analyses
(which I assume you mean by RSA) may also be suitable, depending on your
hypotheses.</p>
<p style="margin:0 0 1em 0;color:black">Jo</p>
</div>
<div style="color:black"><div><div class="h5">
<p style="color:black;font-size:10pt;font-family:Arial,sans-serif;margin:10pt 0">On
May 30, 2016 4:31:50 PM Richard Dinga <<a href="mailto:dinga92@gmail.com" target="_blank">dinga92@gmail.com</a>> wrote:</p>
</div></div><blockquote type="cite" class="gmail_quote" style="margin:0 0 0 0.75ex;border-left:1px solid #808080;padding-left:0.75ex"><div><div class="h5">
<div dir="ltr"><div><div>> Do you have to do
within-subjects classification, or could you cross-validate on the
subjects? (I guess that is option 4.) That would also simplify the
permutation testing.<br><br></div>yes, I am interested in within subject
pattern of activities, possibly RSA<br><br>> If you need to stick to
cross-validation within people, I'd prefer splitting the dataset into two
halves (first half of the run, second half of the run, which I assume is
your option 1) over option 2: adding more cross-validation folds just
compounds the potential confounds, and there's nothing special about 10
folds.<br><br></div>10 folds has almost twice as many training points,
therefore I guess it will have higher accuracy, and with split half, there
still wouldn't be much to permute<br><br><div><div><div class="gmail_extra"><br></div></div></div></div></div></div><span class="">

_______________________________________________<br>
Pkg-ExpPsy-PyMVPA mailing list<br>
<a href="mailto:Pkg-ExpPsy-PyMVPA%40lists.alioth.debian.org" target="_blank">Pkg-ExpPsy-PyMVPA@lists.alioth.debian.org</a><br>
<a href="http://lists.alioth.debian.org/cgi-bin/mailman/listinfo/pkg-exppsy-pymvpa" target="_blank">http://lists.alioth.debian.org/cgi-bin/mailman/listinfo/pkg-exppsy-pymvpa</a><br>
</span></blockquote>
</div>
</div>
</div>

<br>_______________________________________________<br>
Pkg-ExpPsy-PyMVPA mailing list<br>
<a href="mailto:Pkg-ExpPsy-PyMVPA@lists.alioth.debian.org">Pkg-ExpPsy-PyMVPA@lists.alioth.debian.org</a><br>
<a href="http://lists.alioth.debian.org/cgi-bin/mailman/listinfo/pkg-exppsy-pymvpa" rel="noreferrer" target="_blank">http://lists.alioth.debian.org/cgi-bin/mailman/listinfo/pkg-exppsy-pymvpa</a><br></blockquote></div><br></div>