<br><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="im">
> Also, what happens if in some runs, I have no trials for a certain<br>
> condition? I imagine that on folds where those runs are part of the "test<br>
> dataset", this would be problematic (nothing to test against)?  So are<br>
> those fold entirely excluded from the analysis if I use Balancer?<br>
<br>
</div>I don't think it would exclude any runs entirely, but you would be<br>
lacking something to test on, indeed.<span class="HOEnZb"><font color="#888888"></font></span><br></blockquote><div><br>Just add to Michael's reply. I think what happens is like the following situation. Please correct me if I'm wrong.<br>
<br>Say you have 5 samples in total:<br><br>Category A: samples #1, #2<br>Category B: samples #3, #4<br>Category C: sample #5<br><br>During leave-one-out cross-validation, each sample would be picked up as the one for testing:<br>
<br>When sample #1 is the one, the Balancer would either choose (#2, #3, #5) or (#2, #4, #5) for training. Chance level = 100%/3= 33.3% correct.<br><br>When sample #5 is the one, the Balance would choose among (#1, #3), (#1, #4), (#2, #3), (#2, #4) for training. Chance level = 100%/2= 50% correct but you actually get 0% classification accuracy because the trained classifier always predicts either category A or B but the ground truth is category C.<br>
<br>Because the chance level may change in an unbalanced dataset like this, running the same procedure with the same category labels on white noise may provide you a better estimate of chance classification performance.<br>
<br>Tren <br></div></div>