Применим преобразование импликации:

¬(X•X - 1 > 100) ∨ (X•(X-1)< 100) => X•X - 1 < 100 ∨ (X•(X-1)< 100) =>

X•X < 101 ∨ (X•(X-1)< 100)

Если X•X < 101 = 1, то т. к.  чуть больше 10 (меньше чем на 1), ответ 10.

Если X•(X-1)< 100, то нам необходимо решить неравенство: X•X - X - 100 < 0.

Корни этого квадратного уравнения: 

Воспользовавшись методом интервалов, получаем, что наибольшее целое положительное число, удовлетворяющее неравенству, это 10.

В качестве ответа берем наибольшее из решений.