Здравствуйте, Игорь!
Нехватка смелости – повод для исповеди. Хотя бы постарайтесь дать понять, что Вам неприятны подобные разговоры. При должной настойчивости Вы вполне можете добиться ситуации, когда при Вас подобные темы не будут затрагиваться. В качестве меры оперативного реагирования могу посоветовать читать про себя молитву Честному Кресту, как только Вы слышите подобные разговоры. Кроме того, очень помогает неучастие в беседе. Сделайте вид, что Вы не услышали то, что Вас оскорбило. Редкий клеветник окажется настолько злостным, чтобы пытаться рассказывать сплетню незаинтересованному человеку.