شما برنامه رو با مدیر بسته apt نصب نکردید که حالا بتونید باهاش حذف کنید. درواقع apt هیچ ایدهای از این که این برنامه روی سیستم شما هست نداره.
باید برید در شاخهای که make install زدید دستور make uninstall رو اجرا کنید. اون هم تنها در صورتی کار میکنه که این ویژگی توسط توسعهدهنده براش در نظر گرفته شده باشه. اگر اینطور نبود یک بار دیگه مراحل کامپایل و نصب برنامه رو طی کنید در مرحله make install از سویچ dry-run-- استفاده کنید تا مراحلی که برای نصب طی شده رو ببینید و دستی همه رو حذف کنید.
به همین خاطر پیشنهاد میشه از make install استفاده نکنید یا اگر مجبور بودید از checkinstall استفاده کنید.