<div class="gmail_quote">2011/6/14 Yaroslav Halchenko <span dir="ltr"><<a href="mailto:debian@onerussian.com">debian@onerussian.com</a>></span><br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">
Hi Roberto, sorry for the delays with replies -- our other baby,<br>
NeuroDebian, urgently needing our attention ;)<br>
<div class="im"><br></div></blockquote><div>I'm sorry, but I supposed that my post without [pymvpa] tag were automatically refused!! :P<br><br>Take care about your baby!! It's vital!<br><br> </div><blockquote class="gmail_quote" style="margin: 0pt 0pt 0pt 0.8ex; border-left: 1px solid rgb(204, 204, 204); padding-left: 1ex;">
<div class="im">
>    1) In PyMVPA we have a sensitivity analyzer for each classifier which<br>
>    gives us the importance of dataset features, in the form of a vector of<br>
>    #feature values. These values indicates if a feature is enrolled in the<br>
>    classification task, but not if a feature is more sensitive to a class<br>
>    rather than others. Is there a procedure to understand this or I'm<br>
>    misunderstanding sensitivity analysis?<br>
<br>
</div>well, in general it is correct, especially for binary classifiers.  Moreover,<br>
those sensitivities for linear classifiers most often are just coefficients of<br>
the separating hyperplane.  Thus they have no notion of 'class' but rather hint<br>
on importance of that feature for discrimination between participating classes;<br>
thus cannot be univocaly attributed to one or another class.  Depending on<br>
preprocessing, and what actual data you give for classification, the sign<br>
of such coefficient might be indicative of favoring higher values (higher<br>
activation) for one class than another in a specific feature.<br></blockquote><div><br>So, If have a voxel important in my face/object task, it is used for this discrimination. Thank you!<br><br> </div><blockquote class="gmail_quote" style="margin: 0pt 0pt 0pt 0.8ex; border-left: 1px solid rgb(204, 204, 204); padding-left: 1ex;">

<div class="im"><br>
>    2) Do you know some papers/lectures/book chapter/ books where can I<br>
>    learn how to understand classifier feature importance? not only in<br>
>    neuroimaging analysis but in general.<br>
<br>
</div>Well, someone might recommend some nice overview on variable<br>
importance/sensitivity estimations.  Otherwise there are short of too many<br>
papers/methods.<br>
<br>
As for SVMs you might like to have a look at<br>
<br>
@Article{ Rakotomamonjy03,<br>
    Author = "A. Rakotomamonjy",<br>
    Title = "Variable Selection Using {SVM}-based Criteria",<br>
    Journal = "Journal of Machine Learning Research",<br>
    Volume = "3",<br>
    Pages = "1357--1370",<br>
    bibsource = "DBLP, <a href="http://dblp.uni-trier.de" target="_blank">http://dblp.uni-trier.de</a>",<br>
    ee = "<a href="http://www.jmlr.org/papers/v3/rakotomamonjy03a.html" target="_blank">http://www.jmlr.org/papers/v3/rakotomamonjy03a.html</a>",<br>
    year = 2003,<br>
    keywords = "Support Vector Machines",<br>
    url = "<a href="http://www.jmlr.org/papers/volume3/rakotomamonjy03a/rakotomamonjy03a.pdf" target="_blank">http://www.jmlr.org/papers/volume3/rakotomamonjy03a/rakotomamonjy03a.pdf</a>"<br>
}<br>
<br>
which provides few approaches to features ranking in SVMs.<br>
<br>
Also of interest might be<br>
<br>
Kienzle, W., Franz, M. O., Schölkopf, B. & Wichmann, F. A. (In press). Center-surround patterns emerge as optimal predictors for human saccade targets. Journal of Vision.<br>
    This paper offers an approach to make sense out of feature sensitivities of non-linear classifiers.<br>
<br>
Sato, J. R., Mourão-Miranda, J., Martin, M. d. G. M., Amaro, E., Morettin, P. A. & Brammer, M. J. (2008). The impact of functional connectivity changes on support vector machines mapping of fMRI data. Journal of Neuroscience Methods, 172, 94–104.<br>

    Discussion of possible scenarios where univariate and multivariate (SVM) sensitivity maps derived from the same dataset could differ. Including the case were univariate methods would assign a substantially larger score to some features.<br>

    DOI: <a href="http://dx.doi.org/10.1016/j.jneumeth.2008.04.008" target="_blank">http://dx.doi.org/10.1016/j.jneumeth.2008.04.008</a><br>
<br>
<br></blockquote><div><br>Thank you Yaroslav! You're great!!<br><br> </div><blockquote class="gmail_quote" style="margin: 0pt 0pt 0pt 0.8ex; border-left: 1px solid rgb(204, 204, 204); padding-left: 1ex;">
--<br>
=------------------------------------------------------------------=<br>
Keep in touch                                     <a href="http://www.onerussian.com" target="_blank">www.onerussian.com</a><br>
Yaroslav Halchenko                 <a href="http://www.ohloh.net/accounts/yarikoptic" target="_blank">www.ohloh.net/accounts/yarikoptic</a><br>
<br>
_______________________________________________<br>
Pkg-ExpPsy-PyMVPA mailing list<br>
<a href="mailto:Pkg-ExpPsy-PyMVPA@lists.alioth.debian.org">Pkg-ExpPsy-PyMVPA@lists.alioth.debian.org</a><br>
<a href="http://lists.alioth.debian.org/cgi-bin/mailman/listinfo/pkg-exppsy-pymvpa" target="_blank">http://lists.alioth.debian.org/cgi-bin/mailman/listinfo/pkg-exppsy-pymvpa</a></blockquote></div><br>