Te lo explicaré de la manera más sencilla posible.
Portable
No necesita instalarse para ser ejecutado y todos los archivos de configuración son guardados ya sea en la misma carpeta donde se encuentre el EXE o en el perfil del usuario activo en ese momento, depende de cómo haya sido creado.
No-Portable
Necesita instalarse para ser ejecutado (por lo general) y todos los archivos de configuración van a las carpetas de Windows y System32.
Cualquier duda postea aquí mismo