Tengo problemas con la conexión xserver y no consigo que alguien me ayude, a ver si podeis

Mi problema es que cuando realizo la conexión con Xephyr u otro sistema hacia un Unix, si el teclado numerico esta activado no puedo ni mover ventanas, ni cerrarlas ni redimensionarlas (no hace nada) en cambio el teclado y botones si que van. En cambio si el teclado numerico esta inactivo todo funciona correctamente excepto el teclado numerico que ni activo ni inactivo funciona.
Utilizo ubuntu, he provado muchas distros pero todas hacen lo mismo, igualmente el programa Xming de windows tambien lo hace pero el programa WinAxe de windows funciona perfectamente si tengo activada una opción que tiene que se llama "enlatched numlock".
Tengo el siguiente script para ejecutar la conexión:
#!/bin/bash
numlockx off
xmodmap -e "keycode 77 = NoSymbol" (tecla Bloq num checkeado con xev)
Xephyr :1 -query <ip> -screen 1024x768x8 -ac -host-cursor -fullscreen
El comando xmodmap no hace nada porque el Bloq num se activa y desactiva como si no hubiera pasado nada.
Alguien sabe como solucionarlo?