האם לכבד הורה מקלל ומתעלל?

שלום וברכה לכבוד הרבנים, אני נשוי + 3, עוד לפני הנישואים אבי היה אדם לא קל, הוא ואימי היו מכים אותי ואת אחותי על בסיס יומי, מתעמרים בנו, ומונעים מאיתנו חברים וכו' בילדות. לפני כ-10 שנים גירש אותי מביתו ונאלצתי לגור מספר ימים עם מי שהיא היום רעייתי (אך אז לא היינו נשואים), הדבר גרם לנו למצוקה פיננסית מבלי שקיבלנו שום עזרה מאבי במהלך השנים. הדבר המוזר הוא שלמרות שגירש אותי מביתו, אבי מגיע מדי יום לביתי שלי (מרחק מה מביתו), מגיע ללא התראה (תדירות הביקורים לפעמיים ביום עלתה כשאימי הלכה לעולמה לפני 7 שנים), דופק בדלת ואני כמובן לצערי, עקב כיבוד אב ואם, פותח את הדלת ומכניסו לביתי (גם רעייתי מחלה שנים מכבודה, אך הגיעו מים עד נפש). מרגע שאבי נכנס בדלת מתחילה חוויה מזעזעת - הוא מקלל, מדבר סרה בנו ובאנשים, עולב באישתי (יהודיה עולה חדשה) מכנה אותה גויה, מסרב ללכת למרות בקשותינו ועוד ממשיך לריב איתנו בזמן שנמצא. בני הבכור לצערנו גדל באווירה הזו, למד מהסבא קללות קשות וכל הזמן שומע מריבות (ילד על הרצף האוטיסטי), האח הבכור שלי שומר על הבית שלו ומרחיק את ילדיו מהסבא (גר בעיר אחרת ושם האישה מהיום הראשון דאגה להרחיקו מהמשפחה, וכמותו אחי הצעיר שגם ניתק עימו את הקשר) אני לצערי בגלל המצב שהגענו אליו עדיין תקוע באותה העיר והשכונה של אבי, לכן הוא תמיד אצלנו. בתי הקטנה כיום בת 3 וכעת היא גדלה לאווירה של קללות ומריבות שאבא שלי משמיע לרוב על אנשים שלא קשורים אלינו, ואנחנו מבקשים ממנו להפסיק אך ללא הועיל. בשבוע האחרון החלטתי שאיני פותח לו יותר את הדלת, אך שאלתי האם איני עובר על מצוות כיבוד אב ואם (מזכיר כי הביקור של אבי, גורם לבעיות בבית וגם בזוגיות ובחינוך הילדים, כבר יהיה קשה לתקן את חינוכם עם המילים שלמדו) העניין שלהגיע אלינו עליו לעלות לקומה 3 בלי מעלית, ולכן כואב לי שאני לא פותח לו - אבל שוב זה ביקור בלי שהוא מודיע, בשעות לא שעות, בלי להתחשב בנו כלל או בילדים. אבי לא אדם נעים, אין כמעט אדם בעירנו שלא זכה למריבה איתו, כולל השכנים הקרובים - הוא אף מגדיל ומקלקל את יחסי השכנות הטובים שיש לנו עם השכנים בבניין שלנו. מה עליי לעשות?