Consulta: ¿los accediste como XLS (versión 2003) y los guardaste como XLSX(versión 2007)?
Porque los documentos en Excel a veces engordan cuando tienen que guardar demasiada información relacionada con formatos o algún caracter oculto que se repite en las celdas. Por ejemplo me pasó una vez que un Excel pesaba como 100 megas, y era porque todas las celdas de una hoja estaban con color de fondo y formato de borde.
Entonces, si tienes algo así, pasar de 65 mil filas a 1 millon y fracción, podría aumentar drásticamente el tamaño. Eso sin contar con que son más columnas también.
Si es una hoja, prueba borrando todas las filas que vienen luego del último texto de tu planilla; y todas las columnas con similar característica.
Ahora, no es común esto si no es información en las celdas.