de hecho eso se ve en una materia que se llama metodos numéricos, no sé si esté dentro de tu plan de estudios pero supongo que apenas vas empezando la carrera.
primero que nada tienes que saber porque metodo quieres resolverlo, gauss, gauus-jordan, gauss seidel, por factorización lu, cholesky, en fin hay muchos métodos, luego tienes que analizar bien como harás las iteraciones, considerando que ya sabes leer e imprimir matrices.
quizá por este medio no sea tan fácil explicarlo pero te recomiendo el libro de metodos numéricos de chapra, ahi viene el análisis de muchos metodos e incluso el algoritmo para resolverlo, sólo tienes que hacer el código en c y listo.
Es relativamente sencillo si tienes buenos conocimientos y estudias primero el método, yo tengo muchos de los métodos que te mencione hechos en c++, compilados en dev, pero batalla un poco para que aprendas bien, cualquier duda estoy en la mejor disposicion de ayudarte