این قلعه بزرگترین و کهن ترین قلعه بیرجند بلکه آن ناحیه بود که بر فراز بلندترین نقطه غربی تپه ماهورهای شهرساخته شده بود و هنوز برج های فرسوده و بخش هایی از دیوارهای کهنه و مخروبه آن پابرجاست و چون درمحله بزرگ و معروف «ته ده» واقع بود به آن «قلعه ته ده» می گفتند که پس از «شهر» شدن بیرجند «قلعه پایین شهر» نام گرفت و امروز چون قلعه دیگری در بیرجند وجود ندارد فقط به نام «قلعه» معروف است.
تاریخ بنای این قلعه که از گل و چینه های گلی ساخته شده به درستی روشن نیست ولی کهنگی و فرسایش بیش ازحد برج ها ودیوارهای آن حکایت از قدمت زیاد آن می کند . برخی بنای این قلعه را به دوره صفوی و بعضی به پیش از آن دوره نسبت می دهند.