El consumo de memoria no tiene nada que ver con la velocidad de respuesta de un sistema. La memoria RAM solo sirve para almacenar información, no para ejecutar instrucciones.
Cuando tu sistema operativo empieza a hacer paging, es cuando notas la disminución de velocidad.