Здравствуйте, Андрей!
Правильно не разрешил ваш духовник: в монастырь мужья и отцы не уходят без согласия их жен и при несовершеннолетних детях. Это просто не положено. И вообще, как пишет апостол Павел, « кто о своих и особенно о домашних не печется, тот отрекся от веры и хуже неверного» (1 Тим. 5, 8). Приучайтесь молиться здесь и сейчас, там, где Вы промыслом Божьим поставлены. Если не можете молиться здесь, не сможете и в монастыре молиться. Здесь Вас раздражают дети, там будут раздражать монахи или кто-то еще. Иисус легкой жизни никому не обещал, но призывает Своих учеников следовать за Ним, взяв свой крест, что невозможно без исполнения главных заповедей о любви к ближним. Только в терпении и окружающих обстоятельств, и самого себя Вы спасете душу, а не в бегстве от них (от себя все равно не убежите). Дай вам Бог терпения!