<html>

  <head>

    <meta http-equiv="content-type" content="text/html; charset=utf-8">

  </head>

  <body bgcolor="#FFFFFF" text="#000000">

    <pre>Dear Yaroslav,

thank you for your reply.

I might be wrong in the specific case of MVPA, but I think the 1-dimension Goodness-of-fit test is appropriate in case

you have something like one dice and you are expecting each of the 6 sides to occur with equal frequencies.

The N x N confusion matrix rather reflects the case in which you can a variable with N classes (targets) and you 

measure how frequent these classes distribute across the levels of a different variable (predictions). In such a case,

a 2-dimension Pearson's test seems more appropriate.

Best,

Marco

On Thu, 11 May 2017, marco tettamanti wrote:

><i>    Dear all,

>    I apologize if this has been asked before, or else is too trivial.

</i>

><i>    I have been trying to understand how the the pymvpa2 toolbox calculates

>    the chi-square test of a confusion matrix.

</i>

><i>    In a cross-validation (e.g., cvte.ca.stats), it seems that by default this

</i>><i>    is done by means of a one-dimensional Goodness-of-fit chi-square test with

>    expected uniform frequency distribution.

</i>

><i>    I was wondering whether the bi-dimensional Pearson's chi square wouldn't

</i>><i>    be more appropriate, as it seems to me that this would more closely

>    reflect the "predictions vs targets N x N" matrix structure.

</i>

Hi Marco,

might as well be -- I would need to read on/check... IIRC we were just

following instructions on chi-square test to be done on contingency

tables.

-- 

Yaroslav O. Halchenko

Center for Open Neuroscience     <a href="http://centerforopenneuroscience.org">http://centerforopenneuroscience.org</a>

Dartmouth College, 419 Moore Hall, Hinman Box 6207, Hanover, NH 03755

Phone: +1 (603) 646-9834                       Fax: +1 (603) 646-1419

WWW:   <a href="http://www.linkedin.com/in/yarik">http://www.linkedin.com/in/yarik</a>        

</pre>

    <br>

    <pre class="moz-signature" cols="80">-- 

Marco Tettamanti, Ph.D.

Nuclear Medicine Department & Division of Neuroscience

IRCCS San Raffaele Scientific Institute

Via Olgettina 58

I-20132 Milano, Italy

Phone ++39-02-26434888

Fax ++39-02-26434892

Email: <a class="moz-txt-link-abbreviated" href="mailto:tettamanti.marco@hsr.it">tettamanti.marco@hsr.it</a>

Skype: mtettamanti</pre>

  </body>

</html>