Praca fizyczna nie zajmuje całego serca ojca Jana. Jednakże poświęca jej tyle czasu, zmysłu artystycznego, zainteresowania, troski, że wydawał się być zawodowcem. Tutaj znajduje okazję do wykazania swoich umiejętności i kompetencji. Wie, że wysłano go tu między innymi dla zrealizowania ambitnych planów. Będzie musiał zająć się budownictwem.
Postanowiono, że klasztor w Segovii będzie jednocześnie siedzibą rady generalnej, nowicjatu i kolegium filozoficznego. Na razie bracia zamieszkują budynek wilgotny i zniszczony, nabyty od Trynitarzy. Trzeba więc pomyśleć nie tylko o naprawie i poszerzeniu, ale również o budowie nowego pomieszczenia. W czasach ojca Jana i aż do połowy XIX wieku koryto rzeki Eresma zajmowało praktycznie całą szerokość dzisiejszej alei Fuencisla, tworząc zatoczkę w jej łuku. Pozostawało tylko miejsce na drogę, która przebiegała obok murów klasztoru i kościoła Fuencisla. Ówczesny autor, uczeń Jana od Krzyża, tak pisze o tym kościółku: “Służył za kapliczkę tym, którzy wyjeżdżali lub wjeżdżali do miasta z tej strony, gdzie wspomniane skały i rzeka Eresma pozostawiają wystarczającą przestrzeń dla drogi, która dziś, jak i zawsze, była jedną z najbardziej uczęszczanych z tej racji, że jest główną drogą prowadzącą do najważniejszego i najbogatszego regionu Starej Kastylii” (Hieronim z Alcalá).
Zrozumiałe jest więc odejście Trynitarzy i postanowienie przeniesienia klasztoru na inne miejsce. Nowy i obszerniejszy zbudowano nieco wyżej, na terenie suchym. Uniknięto w ten sposób zbytniej bliskości rzeki, ulicznego hałasu i ścieków gromadzących się w dolinie. Mógł on pomieścić około pięćdziesięciu zakonników.
Był okolony nie tylko rzeką i drogą, ale również częścią ogrodu. Ogród potrynitarski obejmuje aktualnie uprawiany teren w kierunku Fuencisla.
Mur ogrodzeniowy biegł dalej w kierunku zbocza, pozostawiając na zewnątrz “las penas grajeras” (“skały kruków”, nazwane tak z powodu ptaków, które tam zakładają swe gniazda), i załamywał się w prawą stronę, poniżej płaskowyżu, który istnieje do dziś, w środku zbocza. Na zewnątrz pozostaje skalista równina oraz cała górna część ogrodu.
Inne też uzależnienie niepokoiło poważnie Bosych. Wokół posiadłości klasztornych, w połowie wysokości obecnego ogrodu, przebiegała droga dla przeprowadzania bydła, która ciągnęła się przez równinę, biegnąc poniżej “skał kruków” (penas grajeras) i powyżej kościoła Fuencisla, dochodząc aż do pastwisk. Ciągłe przepędzanie bydła i trzód oznacza nieustanny ruch, bardzo przykry dla zakonników. Było to tym bardziej dokuczliwe, że pasterze urządzali sobie nocleg w grotach “skał kruków”, a byli to ludzie hałaśliwi i nieporządni. Nabywając więc obszar skał i górną część ogrodu uzyskano tym samym potrójną korzyść: miejsce pod klasztor, kopalnię skał budowlanych i od chwili przejęcia na własność drogi i równiny ustało przeprowadzanie bydła.