bem, é bem simples se você já tiver a função que resolve o sistema. num sei se sua duvida é quanto à resolução do sistema ou quanto a formatação dos dados, se for quanto à resolução, procure um algoritmo que resolve e implemente! mas se for a formatação dos dados é simples scanf ( " %i ", &num);
int i,j;
int matriz[num+1][num];
for (i=0;i<num+1;i++)
{
for (j=0;j<num;j++)
scanf ("%i", &matriz[i][j]);
} dai você vai ter a matriz toda preenchida ou seja o sistema dai é só chamar a funcao pra resolver o sistema resolve (matriz); depois você faz uma funçao gravar o que você quer no arquivo!!! use a função fprintf() para gravar, ela está na biblioteca stdio.h espero ter ajudado.