А у вас вспыхивали чувства к человеку, которого вы отвергали?

Чаще всего, потому что не понимают и не хотят попытаться понять. Проще "послать", нежели разбиратся в непонятках.
Но и не исключен и другой вариант: ты делаешь или говоришь что-то не приятное или не понятное. И чтобы не стукнуть тебе по ..., они просто отварачиваются от тебя.

Мне думается, что причина лежит на самой физиогномической поверхности. Это отсутствие сексуальной страсти и, следствие, желания половой близости. Вот, и всё. А все остальные "поводы" со временем можно подтянуть, если заняться активным саморазвитием, при наличии взаимного понимания и какого-то элементарного уважения. А "выделывание" - это чуть ли не насильственное подавление внутренней похоти. Ну, когда кто-то специально идет против своей плотской природы, ломается и блокирует энергию, ставя под уничтожение основной инстинкт. В итоге страдания не избежать, а мучиться так же будет и партнер, испытывающий лично к тебе вожделение на честной сексуальной основе. В жизни случается всякое, я давно привык к окружающему абсурду и сам, отчасти, его пленник.

Видимо ему нечем заняться и он просто издевается...

Смотря в чём заключается проблема. Возможно, иногда человека стоит насильно взять за руку, привести в чувство. Многие люди беспомощны, и убеждены в том, что никакая помощь их уже не выручит.
Однако надо быть аккуратным, в своём стремлении помочь, и объективно оценивать собственные силы, а так же реакцию находящегося в беде.
Не менее важно и желание самого человека избавиться от проблемы. Быть может он не столько не хочет, сколько уверен в том, что не справится. Ещё раз повторю - тут стоит смотреть по ситуации, и по настроенности самого человека

возможно(надо всегда начинать анализ с себя)

У меня тоже хорошие отношения со своими бывшими, ну почти со всеми. Это потому что у меня они были все достойные люди, а не всякая шелупонь.