<div dir="ltr">Hi guys,<div><br></div><div>For a given dataset, in a statistical analysis where all the data analyzed together (no cross-validation) if I change some analysis parameter and rerun the analysis I should decrease the p-value (at least in theory). In the other words, if I am successful in getting significant result with p=0.05 after I tried before 19 different analysis options this result might be purely by chance.  My question: what if the data tested with cross-validation (like in pattern classification), does it mean that I can try million different options and I am fine? Intuitively, it still looks to me that parameters can be fitted for data even with cross-validation, so the result would be biased. Though, probably less, than without cross-validation.</div>

<div><br></div><div>What do you think?</div><div><br></div><div>Thanks!</div><div>Vadim</div><div><br></div><div><br></div></div>