Далеко не всегда, но частенько.
Если, например, посмотреть на этот вопрос, то не по теме только один ответ от
arturchik (38), и то, полагаю, что он ответил так специально, исходя из заданного вопроса (по принципу: "Хотите – пожалуйтста").
Причины такого достаточно полно описаны в других ответах. Могу только добавить, что отвадить от своих вопросов любителей такими ответами набирать баллы можно очень просто. Достаточно методично удалять их ответы с причиной "Ответ не по теме". Ответ исчезает, лимит не возобновляется, а баллы отнимаются. Для ответившего – только минусы и никаких плюсов. Думаю, он быстро запомнит, что отвечать не по теме на вопросы этого пользователя нет никакого смысла.
Да и с теми, кто хочет показать таким ответом: "Вот какой я, как я могу", такой метод тоже позволяет бороться. Ответ ведь исчезает, никто его не видит и не может оценить, какой замечательный автор этого ответа.