<div dir="ltr">Dear all,<br><br>I was wondering, what would be the most optimal solution for loading massive data in PyMVPA.<br>Here is my case:<br><br>import time<br>import nibabel as nib<br>from mvpa2.suite import *<br><br>
runs = 5<br><br># Trim a number of slices in the end of the file<br>def trimImage(filename,cutoff):<br>    tmp = nib.load(filename)<br>    return nib.Nifti1Image(tmp.get_data()[:,:,:,0:cutoff],tmp.get_affine())<br><br># Size of the files I'm working with<br>
datatemp = nib.load(filename)<br>datatemp.shape<br># (91, 109, 91, 350)<br><br># Start timer<br>start = time.time()<br># Load each of the 5 runs into the dataset<br>fds = fmri_dataset(samples=[trimImage(('run%i/epi.nii' % (r+1)),346) for r in range(runs)], <br>
targets=targets, <br>chunks=selector, <br>mask='/triton/becs/scratch/braindata/DSmirnov/HarvardOxford/MNI152_T1_2mm_brain_mask.nii')<br># End timer<br>end = time.time()<br>print end - start<br># 14704.9735432 : ~4 hours! Why?<br>
<br>If I want to load a dataset containing all my data at once, and I am not constrained by RAM, what would be the best way to do so?<br><br>Thank you in advance!<br>BR, Dima<br clear="all"><div><br>-- <br> <br>Dmitry Smirnov (MSc.)<br>
PhD Candidate, <a href="http://becs.aalto.fi/bml/" target="_blank">Brain & Mind Laboratory</a><div>BECS, Aalto University School of Science<br>00076 AALTO, FINLAND<br>mobile: +358 50 3015072<br>email: <a href="mailto:dmitry.smirnov@aalto.fi" target="_blank">dmitry.smirnov@aalto.fi</a></div>

</div></div>