tu solucion es facil , tira un cable de red hacia el segundo piso , y en el segundo piso instala UN ACCESS POiNT no un router , poneles el mismo SSID misma clave , distinto canal y los notebooks harán "roaming" entre ambos cacharros asi no tiee que desconectar una red para conectarte a otra.
si no configuralos con distintos nombres, y guada las redes en los notebooks , pero el del segundo deberia ser un AP si pones un router tb funciona pero podrias tener problemas con el NAT o bien necesita un pelito mas de configuracion.
si no te gusta esas solucion , puedes poner antenas mas grandes a tu router si es que esta es desmontable y tambien si el router es "conocido" puedes cambiarle el firmware y aumentar la potencia de este.
tambien puedes evitar ese cable de red hacia el segundo piso comprando adaptadores para la red electrica y tirar la señal por ahi.
existen repetidores que aumentan la señal original sin la necesidad de nada pero la verdad es que yo no he tenido buenas experiencias con ellos devolvimos varios por acato.
http://www.pcfactory.cl/producto/2021-Access.Point.DAP-1360.aps se me olvidaba ... tu router debe tener si o si una puerta LAN disponible para conectar el access point
saludos