دو دژ تاریخی برز که حکایت از قدمت این روستا دارد یکی دژ سنگی معروف به قلعه پایین ده و دیگری دژ خشتی معروف به قلعه سر ده.

قلعه پایین ده

با توجه به گفته ها و شنیده ها که سینه به سینه نقل شده و بنا به گمانه زنی (رشته کوه رسوبی جنوب برز که به تخته سر کر ختم میشود و چشمه سارهای آن مانند قسمت شمالی آن ( کَروند) بسیار پر برف و آبخیز بوده است و آبی که از دره گلبند باد جاری میشده قابل توجه بوده که از طریق دره خاک تنور و دره لا به سوی لاجاره روان بوده که سرانجام به رودخانه اصلی متصل میشده است) می توان گفت که بیش از دو هزار سال پیش افرادی این محل را برای سکونت خود انتخاب نمودند.
هم اکنون مشخص نیست این افراد از کدام منطقه آمده اند ولی ضلع جنوبی قلعه را برای سکونت انتخاب نموده اند به این دلیل که در زمستان ها مشرف به آفتاب بوده و آب چشمه گلبند باد نیز از جلو آن جاری بوده است. از آن جایی که لایه های زیرین این قلعه سنگی از خاک رس سفید تشکیل شده بود آنان اطاق هایی برای محل سکونت و محل کار خود ایجاد نمودند که اصطلاحاً به آن ها کنده و یا بوم کَن گفته میشود که در زمستان گرم و در تابستان خنک میباشد و درب ورودی آنها سنگی بوده که یک نمونه از آن هم اکنون مشاهده میشود. کم کم به مرور زمان که معلوم نیست چند صد سال طول کشیده درضلع شمالی قلعه هم محل هایی برای سکونت و انبار آذوقه ایجاد نمودند . به مرور زمان محله کنونی گریند را که چندین چشمه آب در آن جاری بوده برای سکونت انتخاب می نمایند که ... دیدن ادامه » چشمه سولجه و چشمه خونی از باقی مانده های آنان میباشد که اکنون نیز بسیار کم آب هستند.
در ضمن قدیمی ترین قبرستان روستا در روبروی قلعه در سمتی که هم اکنون مسجد حاجتگاه بنا شده قرار داشته است و در خاکبرداری هایی که توسط اهالی صورت گرفته است آثاری از اجساد گذشتگان پیدا شده است.
در سالیان دور از روی این قلعه که از سنگ پوشیده شده است بعنوان خرمنگاه استفاده می کردند. مردم محله پایین ده و گریند هر کدام خرمن (گندم و جو ) خود را در قسمتی از قلعه می گذاشتند . بعد از اینکه سفال گندم ها خشک می شد به خرمنگاه عمومی ( مکان بزرگ و دایره ای شکل روی قلعه ) میبردند وبه وسیله قاطر،الاغ،ماشین خرد می کردند البته مراسم خرمن کوبی،بوجاری،تقسیم گندم و بردن کاه به کاهدان مراسم خاصی داشت که ذکرآن در این نوشته نمی گنجد.
افرادی نیز از بوم کن های زیر قلعه استفاده می کردند و به تختکشی اشتغال داشتند .
آنها با پارچه های کهنه ودوال که از چرم گاو درست می نمودند کف گیوه درست می کردند و رویه گیوه که معمولا توسط خانمها بافته می شد روی آن میدوختند .بعد که دوخت گیوه کامل می شد ،آنرا برای فروش به کاشان و یا روستا های اطراف می بردند.
برای درست کردن دوال ابتدا پوست گاو یا گوسفند را در تقارها ی پر از آب که جلو هر چند بوم کن یک عدد قرار داشت خیس مینمودند. بعد از اینکه چرم نرم میشد آن را با چاقو به شکل نوار های باریک در می آوردند، که در دوختن تخت گیوه ولبه گال استفاده مینمودند.
اکنون پنجاه سالی می شود که دیگر کسی در این بوم کن ها به شغل تختکشی مشغول نمی باشد و بیست سالی میشودکه روی قلعه ازخرمن وقاطر،چوم ،چومسوار، بوجاری، کوزل کوبی دیگرخبری نیست .
اکنون این مکان از جا های دیدنی برز می باشد ومحلی شده برای گردش وتفریح جوانان وتوریستها که از این روستا دیدن می نمایند.