این امکان وجود داره. در مورد runlevel جستجو کنید. runlevel ها در لینوکس از ۰ تا فکر میکنم ۵ موجود هستند. محیط گرافیکی در runlevel شمارهي ۳ است. و برای منظور شما شمارهي ۱.
در اوبونتو با دستور:
telinit x
و قرار دادن شمارهی runlevel مورد نظر بجای x شما قادر به سوییچ بین runlevel خواهید بود.
راه دیگه Remove کردن محیط X یا گرافیکی است. مثلا Gnome یا KDE .