eso no depende de ti, sino de tu distro, si es una distro reciente, lo más seguro es que tenga Xorg, si es Debian tendra Xfree86 (la estable), tienes que saber que servidor grafico tienes instalado, puedes usar
www.distrowatch.com para saber cual usas y asi decidir.
hasta donde se tendras que instalar unicamente el que corresponda a tu servidor