Incio, Todos los programas, Accesorios, luego buscas la carpeta que se llama Explorador de Windows le das clic derecho y luego en cambiar icono, seleccionas el icono que vas a poner en vez de esa carpeta y aplicas.
Nota: en la barra de de windows, dale clic derecho en el icono del explorador...