Нужно ли платить за два IP адресса, когда есть wi-fi роутер и два компа, которые должны быть подключены к сети?

Нет, если конечно не какой-то специфический контракт со странным провайдером
Бывает на роутере ставится маска с диапазоном какой дали (если интернет в здании делят на всех),
а лично дома так вообще обычно нет лимита можно сказать

Приходящий в квартиру кабель "имеет" свой ай-пи адрес (условно). Ты втыкаешь его в рутер. Рутер твоим девайсам в квартире (компы, телефоны, планшеты, телевизоры), выдает внутренние ай-пи адреса, которые действуют только в этой подсети. Если ты сделал какое-то действие с телефона и с компа, то "интернет" увидит это как действие с одного ай-пи адреса - который тебе дал провайдер. То есть внутри твоей квартиры устройства конфликтовать не будут, но если тебе надо именно два разных айпи для какой-то странной цели (например всяческие игровые сайты, покер-сайты и т.д. не разрешают коннекты разных аккаунтов с одного айпи в одно и тоже время), тогда тебе нужен второй постоянный айпишник, но это уже надо договариваться с провайдером и платить за это. Но это крайне редкий случай, в обычном режиме все происходит так, как описано выше

Мне кажется зависит от того как ты устанавливал =)

Нет.
Для того что-бы иметь два IP адреса на компьютере нужно добавить ещё одну сетевую карту.