Lee primero a lo que s ele llama Físca I (Vectores, las 3 leyes de Newton, dinamica de particulas, algo de la ley de gravedad si vas a considerar que son relevantes la masas, con la de newton para empezar está bien), ahora depende de que tan adentro de particulas te quieres meter ya que por ejemplo no es lo mismo si quieres simular unas 2 , 3 o hasta unas 15 o 20 particulas o un monton como lago así de unas 1024, ya que entonces es mejor un tratamiento probabilistico, meterce con el teorema de virial, es decir es mas apegado a gases.
En cuanto a matematicas pues tambien depende de lo anterior ya que puesde llegar a que tienes que resolver un sistema de n-ecuaciones y para eso te serviria muchisimo un tratamiento de algebra lineal, dando por hecho que ya sabes algebra campesina (la que te enzeñan en el nivel medio superior)ademas de que puede que tengas resolver ecuaciones diferenciales.
Asi que si vas a entrar a eso de sumulaciones te recomiendo que leas el "Fisica tomo 1" Resnick 4ª edicion (de preferencia, pq creo que andan el 6ª ed) y comiencers con 2 particulas puntuales luego empieces a elevar el número de particulas para que veas las dificultades que empiezan a salir con ese tratamiento, luego regresa a dos partículas pero considera que ya no son puntulaes es decir que la masa no es despreciable.
Libros de matematicas pues el Algebra lineal Grossman (antes mencionado) lee capitulo 1- 3, si no sabes algebra campesina pues con el baldor es un buen inicio, luego algo sobre ecuaciones diferenciales en principio cualquier libro que sea mas aplicativo te ayudara mucho.
Epero ke te sirva todo esto, aun que no sabemos cual es tu nivel esclar
