А у Вас бывало такое, что без причины раздражает человек?

Бывало. Мне кажется, у каждого человека на кого-то в этой жизни была такая реакция. Это нормально.
Ученые и психологи даже нашли сему факту объяснение:
1.  У каждого человека есть свой уникальный запах. Осознано мы его не чувствуем. Но на подсознании это отражается. В связи с чем наше подсознательное восприятие и реагирует определенным образом - либо человек на симпатичен, либо безразличен, либо антипатичен.
2. То же самое касается и манеры поведения и подачи самого себя другим человеком (нашим собеседником): его жесты, его речь, темпр голоса, речевые обороты...
Всё откладывается на подсознании, которое и моделирует уже восприятие человека.
Бороться не нужно.

Бывало, но скорее это моя вина, а не того человека.

Нет, на самом деле всегда существует причина, возможно она сидит где то в глубине подсознания и мы её не понимаем. Как бороться? А никак. Зачем? Не могут все люди вызывать обаяние.

Дадада!  Это ужасно. Человек тебя раздражает, хотя ничего тебе не сделал. Причем в моем случае меня еще и раздражал тот факт, что меня раздражает человек без адекватной на это причины.     Не знаю как бороться.  У меня со временем само прошло.

нет! всегда есть причина!
нуу... скажем из-за ужасного голоса  

не мучить себя...а если человек дорог, то принять его таким какой есть

Всегда есть причина.
То, что этот человек тебе ничего не сделал, не говорит о том, что причины нет.
Возможно, он напоминает тебе кого-то, кто сделал тебе что-то плохое - на сознательном уровне ты этого не замечаешь, но бессознательно переносишь на него негативное отношение к другому человеку.
Или ещё что-то в этом духе.

Нет. раздражение такое мотивированное чувство, что просто так оно не рождается (по-моему).

Да, у меня таких, целый список

Было дело. Даже стоять рядом не хочется.
Бороться? Просто избегать. А если не получается,тогда притераться. Быть толлерантным.(терпеливым).