как вести себя с человеком, который не держит, и не отпускает?

никак, повернуться  и  уйти

Так не бывает. Если покопаться в себе, то скорее всего поймете, что он просто не держит, а Вы просто не хотите уходить, вот и цепляетесь за объяснение "не отпускает"....

как с деревом....

Для начала нужно разобраться, что ты хочешь от этого человека.....Если этот человек тебе дорог, то попытайся поговорить с ним, разобраться, выяснить всё......Добивайся его, удиляй знаки внимания....Но в любом случае, самый лучший выход - это поговорить начистоту. Ну а если же ты поймёшь, что тебе он не так уж и важен, то тут и ежу понятно, что просто выбрось его  из головы

гнать равнодушных.