Как в Sony Vegas или After Effects сделать эффект "рыбий глаз" с затемнением по углам?

Затемнение по углам - это виньетирование. Рыбий глаз - это несколько другая вещь.
В Sony Vegas затемнение по углам делается очень легко:
Идёшь на вкладку Media Generators - Color Gradient - Preset  и там выбираешь Elliptical Pransparent To Black.
Мышем вставляешь его на таймлайн над твоим видео, настраиваешь и вуаля.

AAE добавляешь Adjustment Layer, два раза жмёшь Q, чтобы маска приняла форму овала, жмёшь 2 раза на маску, чтобы она положилась на твой проект, выбираешь внизу Adjustment Layer, два раза жмёшь букву M (eng), чтобы открыть свойства маски, делаешь размытие насколько тебе надо и обрезку маски +/-, чтобы откорректировать.

Рыбий глаз можно сделать разными способами - посмотри лучше туториалы в интернете.