В течение последующих 33 лет он в свободное от работы время на купленном в Отриве небольшом клочке земли возводит удивительное строение, которое называет «идеальным дворцом». Шеваль забирает «камень преткновения», и ему приходит в голову идея строительства сказочного дворца для своей маленькой дочки. Однажды он споткнулся и упал, и его внимание привлек камень причудливой формы. Каждый день почтальон Фердинанд Шеваль проделывал путь в 25-30 километров, доставляя почту в окрестные деревни