閱讀材料，完成下列要求。
潘、韋兩家多年以來比鄰而居，關系融洽。2009年，養(yǎng)了羊的韋某找到潘某，想要在潘某的房屋后面修建一個羊圈，潘某表示同意。而融洽的關系到2015年戛然而止，這兩家開始三天兩頭鬧矛盾。原來，潘某認為，其早在二十年前就取得了現(xiàn)房屋宅基地的使用權，面積包含了房屋前后的空地。前幾年，潘某在房屋后面修建了化糞池，加上羊圈占地，導致車輛不便直接開到房屋后門，影響到了他們一家的出行，由此要求韋某拆除羊圈，但被韋某拒絕。2022年7月，潘某一紙訴狀將韋某告上法庭，要求書某拆除建立在其宅基地旁的24平方米的簡易羊圈，并將土地恢復原狀，歸還自己使用。案件審理過程中，主辦法官前往現(xiàn)場進行實地勘察。從現(xiàn)場勘察情況看，潘某在取得宅基地使用權后，已在該土地上建造了房屋，其房屋大門向南，位于北面的被告書某的羊圈并不影響潘某一家的通行及房屋的通風和采光；從巷道通往潘某房屋后門的通道尚有5.2米的間隙，潘某通往自家房屋后門，并非必須利用羊圈所占的土地。
2022年11月，廣西壯族自治區(qū)南寧市武鳴區(qū)人民法院東盟法庭對這起相鄰權糾紛作出判決。
結合材料，運用《法律與生活》知識，分析該案件應如何判決，并說明理由。