В чём лучше кодировать видео avi или mpeg2?Меня интересует качество и размер.

avi - это контейнер мультимедиа
mpeg2 - это группа стандартов цифрового кодирования видео и аудио сигналов
Их невозможно сравнивать.
Лучше всего кодировать в MPEG4 H.264 10 bit, в контейнере MKV

xbox не читает mkv  

лучше в MKV

Качество на прямую завязано с размером :(
Кино в mpeg кодеке кажет лучше, но больше размером.
Как было сказано, avi - это контейнер (не путать кодеки и контейнеры). В нем может жить любой (почти) кодек. Лучший вариант - mp4.
И не только в интересах качество/размер. Совместимость так же имеет место быть. mp4 довольно распространенный кодек, так что проблем не будет.
Кодируй в mp4, или H.263, контейнер можешь использовать avi (устарел уже), или тот же mp4.
http://www.besplatnyeprogrammy.ru/avidemux.html ссылка на программу для кодирования и демуксирования (смена контейнера без перекодировки). Рекомендую. А вообще, тема обширная, есть что поизучать.

p.s. Контейнер обеспечивает такими возможностями как: наличие субтитров, кол-во аудиоканалов, поддержку переменной частоты кадров и пр. пр.