<div dir="ltr"><br><div class="gmail_extra"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">


<br>
------------------------------<br>
<br>
Message: 2<br>
Date: Wed, 07 Aug 2013 15:02:03 -0500<br>
From: "J.A. Etzel" <<a href="mailto:jetzel@artsci.wustl.edu">jetzel@artsci.wustl.edu</a>><br>
To: <a href="mailto:pkg-exppsy-pymvpa@lists.alioth.debian.org">pkg-exppsy-pymvpa@lists.alioth.debian.org</a><br>
Subject: Re: [pymvpa] Pkg-ExpPsy-PyMVPA Digest, Vol 66, Issue 4<br>
Message-ID: <<a href="mailto:5202A7BB.9050208@artsci.wustl.edu">5202A7BB.9050208@artsci.wustl.edu</a>><br>
Content-Type: text/plain; charset=ISO-8859-1; format=flowed<br>
<br>
Yes, I'm thinking of the usual assumption that adjacent runs may be more<br>
similar because of temporal dependencies (scanner drifts, subject<br>
fatigue, etc.).<br>
<br>
My suggestion for combining temporally adjacent runs is partly motivated<br>
by a desire to keep things simple: people often figure that<br>
leave-one-run-out is a reasonably sensible and conservative<br>
cross-validation scheme. But when we can't do that (such as in my<br>
example, when we have a lot of short runs and massive imbalance in the<br>
number of trials/run), the next best (simplest) thing seems combining<br>
adjacent runs. Pragmatically, there are a lot fewer ways to combine<br>
adjacent runs than random run subsets, also making the choice more<br>
appealing (I'd be wondering why if I saw a single random<br>
cross-validation scheme was used).<br>
<br>
But I don't want to claim that combining temporally adjacent runs is the<br>
only legitimate technique, or even to be preferred on strict theoretical<br>
(as opposed to pragmatic) grounds! I suggested it as something<br>
relatively straightforward (and hopefully safe) to consider.<br>
<br>
<br>
Jo<br>
<br>
Also, to cite myself, a few years ago I played with different<br>
cross-validation schemes systematically, including suggestions for<br>
justifying partitioning other than on the runs, in "The impact of<br>
certain methodological choices on multivariate analysis of fMRI data<br>
with support vector machines".<br>
<a href="http://dx.doi.org/10.1016/j.neuroimage.2010.08.050" target="_blank">http://dx.doi.org/10.1016/j.neuroimage.2010.08.050</a><br><br>
</blockquote></div><br></div><div class="gmail_extra"><div><br></div><div>Okey dokey.  The reason I ask is because I am currently in this very situation -- where due to subject performance on the task, I am going to have to exclude some of the data/trials from each run, thus was in the process of deciding how to proceed, and one way of going about this that I was kicking around, was, as you suggest, to combine runs to have better/more representative samples from each stimulus category; however, was just curious if there was some methodological reason for those runs to be temporally adjacent.  I was curious because my intuition was the opposite, that instead of combining runs in this way to prevent inflated accuracy scores, it seemed to me that it might be limiting the potential accuracy scores (same thing, just a different way of looking at it).  I know this is the approach folks take in doing time series predictive analysis, but hadn't considered this for fmri data so was just wondering.  Also, thanks for the link; I was wondering about how folding on subsets of the data other than just the runs would work...i'll have a look.</div>

<div><br></div><div>Best,</div><div>jason </div><div><br></div><div><br></div><div>---<br>Jason Gors<br>Dartmouth College<br>Dept. of Psychological and Brain Sciences<br>6207 Moore Hall<br>Hanover, NH 03755<br>Phone: (603) 646-9689    Fax: (603) 646-1419</div>

<div><br></div></div></div>