西门屋祠堂位于电城西街严屋巷与新北街之间，根据《电白严氏族谱》记载，是由第十七世聘之公从爵山临轩园来此地开基立业，由于聘之公未成年就去世了，他的父亲端衡公就让他的长兄缉之公次子——原经公入继。根据聘之公的爷爷致和公在一七三九年去世享寿七十岁，则祠堂应该是一七五○年间始建。

祠堂在民国时期曾进行修葺，“文革”期间遭到破坏。受限于时势，改革开放后只重建了祖堂。二○二四年八月，一场台风暴雨导致其余年久失修的梁柱与古老的土墙彻底坍塌。族人议论多年的重建愿望因此提上议程，在尧泰、亚威、政华等热心族人的主持下，各户人丁合资捐款开展重建工程，于二○二四年十二月廿六日落成入伙。

祠堂沿中轴线建造，格局典型，呈“三进两天井”之制，布局庄重、层次分明。踏入大门，右侧可见成对的值房，平日用于守门、接待或存放祭器。

穿过大门便是第一进前厅，这里是接待族人、张贴族规和举行议事的场所。祠堂原悬挂“尊三齿一”牌匾，相传为清朝政府所赐，可惜在“文革”破“四旧”期间失去。

前厅之后是一方天井，既可采光排水，又为祭祀时的集会与摆案提供空间。穿过天井进入第二进大堂，屋顶通透、四面敞朗，成为前后两进之间的过渡与仪式通道。

再越过第二道天井，即抵全祠核心——庄严肃穆的祖堂。祖龛内供奉历代先祖牌位，祭典时族人齐聚于此，完成由凡俗到神圣的礼仪递进。

迄今，西门屋祠堂香火已延续十代，至廿七世子孙，有四十多户逾两百多人。清代期间，族中曾培养出监生、邑庠生、府冠军、荐卷等多名人才；朝廷亦授予通议大夫、奉直大夫等衔，官至候选布政司理问。现代更有校长、军官、局长、所长、主任等各级干部多人，继承并发扬家族的荣耀。