Primero, en los sistemas estéreo la señal de un lado es en general distinta a la del otro y eso podría dar una sensación de debilidad eventual de alguno de los canales con determinada música, por ejemplo. Ahora, si con una señal "mono" (igual en ambos canales) el problema persiste, podría haber algún problema, ya sea en los parlantes, cables e incluso el amplificador (cambiar los parlantes de lado podría dar mas luces sobre el problema).
Respecto a la polaridad de los parlantes, es mejor respetarla. En realidad lo que mas podría afectar el sonido es que hayan unos parlantes bien polarizados y otros al revés, ya que en ese caso, ondas acústicas en fase producidas por un canal y otro, que deberían sumarse, tienden a restarse y eso perjudica la calidad de la onda resultante.
