Damos clic en música

Nos aparecerá así

Seleccionamos cualquier carpeta

Damos clic derecho en la carpeta que seleccionamos y nos vamos hacia propiedades

Nos abre una de estas ventanas

Damos clic en Cambiar el Icono

Seleccionamos el icono que sea, el de nuestra preferencia.

Y nos aparece como lo seleccionamos