почему масло выступало на внешних стенах при его сжатии с огромной силой?

Один из принципов гидравлики. Видимо, в материале, из которого был изготовлен сосуд, имеются микроскопические поры, которые пропускают через себя частицы жидкости.
Когда сила прикладывается к сжатой жидкости, она ищет путь наименьшего сопротивления. И не встречая сопротивления, проходит через мелкие отверстия. Потому при сжатии, масло вытекает из пор и выступает на стенках.

При очень высоких давлениях жидкости могут просачиваться сквозь твердые материалы. Например: все металлы при высоких давлениях, даже без растрескивания стенок сосуда способны пропускать жидкости, как будто становяться "пористыми". А платина даже при не очень высоких давлениях пропускает водород. Подробнее в справочниках по физике высоких давлений.