<div dir="ltr"><div><span class="gmail-im">> </span>Consider a class-counting classifier that ignores all neural data; it 
just counts how often each target occurs in the training set and uses 
that as as prediction for all samples in the test set. In this case, all
 elements in the test set would be marked as other. If 80% of the 
samples in the test set are "other", then accuracy would be 80% - for a 
classifier that does not even consider the neural data.<br>
> To avoid this problem you may have to balance the number of targets for 
each class. However with only 4 chunks this does not give much power to 
detect any effects, even if there is a difference between the first and 
the other targets. Maybe you could use a partitioning scheme where, for 
every fold, you select a random subset of the other targets, with the 
number equal to the number of samples corresponding to the first target.
 Alternatively you could consider some split-half correlation approach.<br><br></div>The only problem here is the use of accuracy as a measure of your model performance. You can use balanced accuracy (mean of sensitivity and specificity) or better, use a measure that is not dependent on a arbitrary threshold, e.g ROC. <br></div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Mar 7, 2017 at 2:37 PM, Nick Oosterhof <span dir="ltr"><<a href="mailto:n.n.oosterhof@googlemail.com" target="_blank">n.n.oosterhof@googlemail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class=""><br>
> On 7 Mar 2017, at 14:23, jasi3k <<a href="mailto:jasi3k@gmail.com">jasi3k@gmail.com</a>> wrote:<br>
><br>
> Dear Users,<br>
><br>
> I am running searchlight analysis with NFoldPartitioner on my fMRI beta data (5 different targets, 4 chunks). I would like to perform a binary classification between my first target and the rest of my data. Would it make sense to change the name of 4 remaining targets to (i.e. „other”) in the attributes file and run the searchlight analysis?<br>
<br>
</span>That should work, though it's probably easier to first load your dataset and set the sample attributes. For this particular analysis you could then change the sample attributes to a common label. If you were then to change the analysis you would only have to change the last part.<br>
<span class=""><br>
><br>
> I would expect that accuracy higher than 0.5 would mean that voxels contribute to the classification task even though targets marked as "other" are different.<br>
><br>
> Would this be correct?<br>
<br>
</span>Not necessarily, as a classifier could use the frequency of the class to make a prediction. Consider a class-counting classifier that ignores all neural data; it just counts how often each target occurs in the training set and uses that as as prediction for all samples in the test set. In this case, all elements in the test set would be marked as other. If 80% of the samples in the test set are "other", then accuracy would be 80% - for a classifier that does not even consider the neural data.<br>
<br>
To avoid this problem you may have to balance the number of targets for each class. However with only 4 chunks this does not give much power to detect any effects, even if there is a difference between the first and the other targets. Maybe you could use a partitioning scheme where, for every fold, you select a random subset of the other targets, with the number equal to the number of samples corresponding to the first target. Alternatively you could consider some split-half correlation approach.<br>
______________________________<wbr>_________________<br>
Pkg-ExpPsy-PyMVPA mailing list<br>
<a href="mailto:Pkg-ExpPsy-PyMVPA@lists.alioth.debian.org">Pkg-ExpPsy-PyMVPA@lists.<wbr>alioth.debian.org</a><br>
<a href="http://lists.alioth.debian.org/cgi-bin/mailman/listinfo/pkg-exppsy-pymvpa" rel="noreferrer" target="_blank">http://lists.alioth.debian.<wbr>org/cgi-bin/mailman/listinfo/<wbr>pkg-exppsy-pymvpa</a></blockquote></div><br></div>