<div dir="ltr">Bill Broderick wrote:<br><br>> However, to determine which timecourse is contributing the most to the<br>> classifiers performance,<br><br>> see which timecourses or which combination<br>> of time courses caused the greatest drop in performance when removed.<br><br>I wrote:<br>> You might take a look at Relief algorithm (also implemented in PyMVPA),<br>> that is less hacky approach to your feature weighting problem.<br><br><br>Yaroslav Halchenko wrote:<br><br>> there is yet another black hole of methods to assess contribution of<br>> each feature to performance of the classifier.  The irelief, which was<br>> mentioned is one of them...<br><br>> So what is your classification performance if you just do<br>> classsification on all features?  which one could you obtain if you do<br>> feature selection, e.g. with SplitRFE (which would eliminate features to<br>> attain best performance within each cv folds in nested cv)<br><br><br>I think there are (at least) 2 separate problems. <br><br>1. How to evaluate predictive power for every feature in order to interpret data<br>2. How to evaluate importance of features for a classifier in order to understand a model and possibly select set of features to get best performance.<br><br>Feature selection methods like Lasso or RFE (as far as I know) would omit most of redundant/higly correlated features, therefore making a 1. impossible. It still might me a good idea for other reasons. </div>