de hecho eso se ve en una materia que se llama metodos numéricos, no sé si esté dentro de tu plan de estudios pero supongo que apenas vas empezando la carrera.
primero que nada tienes que saber porque metodo quieres resolverlo, gauss, gauus-jordan, gauss seidel, por factorización lu, cholesky...