Thanks for the response!<div><br></div><div>I just took a really quick first look (just a single 2-way comparison for a single subject):</div><div><br></div><div>Looking between my experimental conditions, it looks like setting C=-5 and/or using <i>zscore(dataset, chunks_attr='chunks', dtype='float32') </i>leads to accuracies that are a bit higher than before, but still worse than without any zscoring at all. (I hope that I've done the zscoring against the full time series correctly...)</div>
<div><br></div><div>Looking at sounds vs. silence:<br><br></div><div><div><u>With old z-scoring, C=-5:</u></div><div>Accuracies are around 60% with a heavy selection bias towards the rest condition (chooses "rest" correctly 27/27 times, but also chooses rest for 21/27 sound conditions).</div>
<div><br></div><div><u>With old z-scoring, C=-1:</u></div><div>Same as above, except with accuracies around 54%</div><div><br></div><div><u>With NO z-scoring, C=-5 or C=-1:</u></div><div>Accuracies are 98-100%</div><div><br>
</div><div><u>With C=-5 (or C=-1) and zscore(dataset, chunks_attr='chunks', dtype='float32'):</u></div><div>Accuracies are about 98%</div><div><br></div></div><div><br></div><div>So it looks like:</div><div>
<br></div><div>(a) Using C=-5 (as opposed to C=-1) helps a little with the zscore against rest method. Although it might help across the board, but there's a ceiling effect with the other combinations.</div><div>(b) There's a huge difference between whether I zscore against rest or with the whole time series. I'm not sure what's up... running sounds > silence GLMs in FSL show obvious responses in the expected brain regions.</div>
<div><br></div><div><br></div><div>Thanks again,</div><div>Mike</div><div><br></div><div><br></div><div><br></div><div><br><br><div class="gmail_quote">On Fri, Dec 16, 2011 at 11:14 PM, Yaroslav Halchenko <span dir="ltr"><<a href="mailto:debian@onerussian.com">debian@onerussian.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">before discussion kicks in -- out of curiosity... what happens if you<br>
either do nested cross-validation to choose C parameter or just set it<br>
a bit higher (e.g. C=-5 to still be scaled according Â to the data), what<br>
if you do zscoring across full time series (not just baseline condition)<br>
-- for both of those there are explanations, I just wondered to get<br>
better idea of what might be happening in your case<br>
<div class="im"><br>
<br>
On Fri, 16 Dec 2011, Mike E. Klein wrote:<br>
> Â  Â where my baseline condition is silence. Without zscoring, SVMs can tell<br>
> Â  Â any of the sound conditions vs. the silence condition at 98-100%<br>
> Â  Â accuracy...which makes sense. With zscoring, this drops to the 80-90%<br>
> Â  Â level. The experiment has a good amount of samples, is well-balanced,<br>
</div>> Â  Â motion-corrected, etc., so I can't find other obvious confounds.)�<br>
<span class="HOEnZb"><font color="#888888">--<br>
=------------------------------------------------------------------=<br>
Keep in touch Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  Â  <a href="http://www.onerussian.com" target="_blank">www.onerussian.com</a><br>
Yaroslav Halchenko Â  Â  Â  Â  Â  Â  Â  Â  <a href="http://www.ohloh.net/accounts/yarikoptic" target="_blank">www.ohloh.net/accounts/yarikoptic</a><br>
<br>
_______________________________________________<br>
Pkg-ExpPsy-PyMVPA mailing list<br>
<a href="mailto:Pkg-ExpPsy-PyMVPA@lists.alioth.debian.org">Pkg-ExpPsy-PyMVPA@lists.alioth.debian.org</a><br>
<a href="http://lists.alioth.debian.org/cgi-bin/mailman/listinfo/pkg-exppsy-pymvpa" target="_blank">http://lists.alioth.debian.org/cgi-bin/mailman/listinfo/pkg-exppsy-pymvpa</a></font></span></blockquote></div><br></div>