严家祠坐落于电城人民公园与中心小学之间，原为霞海书院，始建于明崇祯十四年（1641年）。清康熙五十九年（1720年）修葺后，更名为“严家祠”。1925年6月，邵贞昌等人在此成立中共南路第一个党支部——中共电白县支部。民国十七年（1928年）再次重修。2000年公布为县级文物保护单位，2003年升为市级文物保护单位。

严家祠广三路，深两进中路面阔三间。总面宽十九米，总进深二十一米四。青砖墙石脚，硬山顶，灰塑脊，抬梁式梁架结构。头门嵌花岗岩石门夹，门额堆塑“严家祠”三字，中间天井，天井两边为东、西厢，后堂有木屏风门，卷棚。总面积四百二十六平方米。

据《电白严氏族谱》记载，严家祠奉祀电白严氏霞海世系第十世祖子仪公。子仪公字菊连，娶黄氏，育有三子。公忌辰为七月初一日，妣忌辰为十二月二十日。公葬于狮子头，坐巽向乾兼辰戌，有碑；妣葬于东山园头，坐乙向辛兼卯酉，有碑。

子仪公之父——琉宝公在族谱中有记载：琉宝公与妻子杨夫人结婚后，琉宝公正值青年就不幸去世了，家境中落并且贫困到了极点。杨夫人悲痛万分，差点支撑不下去，但想到丈夫去世后无人承祀，忍痛强打精神，抚养本族长房晟公的次子——子仪公为继嗣。数十年来，她历尽艰辛，忍受无数苦难，耗尽所有血汗直到晚年，终于见到孙辈经纶公考取邑庠生功名，这才安然辞世。正如古人所说：困境之中方显节义，如贞松劲柏，不因风霜雨雪而改其本性。儒者于贫寒之际仍能坚守志节，实非常人所能。杨夫人最终立嗣传后，使严氏后代多有显贵，人们皆称这是她坚贞苦节所积之福报。