si, compilalo en el pc normal. luego, copia cada uno de los ficheros que cree, al disco duro, situandolos en sus directorios respectivos.
*nota: tambien puedes copiar el binario del gcc, y sus (posibles) dpendencias al disco, y compilar dsde ahi.
(o tambien te pueds hacer un paqute deb, pero eso ya es un poco mas complejo...

)
