Если человек во время разговора не смотрит в глаза?

Ничего не скрыто. Это ж зависит от воспитания, где он рос, в каком обществе. Японцы, например, не смотрят в глаза. Это считается неприличным. Америкосы, наоборот, пялятся.
Социологи, вообще, различают кучи видов взглядов. Считается, что если смотрит ниже уровня лица, то это т.н. "интимный взгляд". Человек питает симпатию.. Или же он что-то скрывает, врёт.. Человек может быть просто стеснительным.. По отдельности жесты трактовать нельзя. Значения могут быть абсолютно противоположными. Только вкупе с остальным поведением. Поэтому просто не заморачивайся :)

ложь или он что то скрывает

Ему нелегко даётся разговор, надо что-то думать, вспоминать.
Вспомни себя на учёбе, когда не знаешь темы вовсе или знаешь её плохо, 1 на 1 с преподом.
Лично я всегда старался не смотреть в глаза в таких случаях, ибо во взгляде препода улавливаешь "я знаю, что ты не знаешь!" и теряется всякая возможность что-либо вспомнить.

Взгляд некоторых пугает.. И они это знают.

возможно то, что он отвлёкся от разговора, что этот разговор ему не интересен, или наоборот, он там где-то видит картину того о чём вы разговариваете, ну или врёт, но это наврятли. Люди научились врать в глаза! Скрыто за этим может быть много чего... Я так делаю, когда мне не интересно...

врёт, а может просто стесняется, зависит от ситуации  

что-то нечистое скрыто в его мелкой и мелочной душонке