A legendás hegyet kolostor koronázza
Az egyetlen magyarországi alapítású férfi szerzetesrend első pécsi kolostora 1225 táján épült. A fennmaradt források szerint "Bertalan pécsi püspök, aki a remetéket különös buzgalommal szerette, a patacsi birtokán lévő hegy tetején Szent Jakab apostol tiszteletére kolostort építtetett". Utóbb a hegy is az ormán álló kolostorról kapta a nevét.
A pálosok a kolostor körüli földeken sok növényt termeltek, jószágokat tartottak. A szerzetesek jól gazdálkodtak, s időnként a környékbeli rablók elirigyelték javaikat, és kifosztották őket. Ezért 1334-ben a hegy alatti egyik völgyben is kolostort építettek maguknak a pálosok, és a szerzetesek leköltöztek oda. Később a két kolostor párhuzamosan fejlődött. Egészen a török hódoltságig, akkor a pálosok feladták pécsi bázisukat. A rend a török kiűzése után Pécs belvárosában kapott területet, s ott építettek maguknak templomot és kolostort. A romos Jakab-hegyi épület a pécsi káptalan birtokába ment át. 1736-ban a világi remeték számára építették újjá a templomot. 1780-ban II. József rendelete feloszlatta a remeterendeket, s ez megpecsételte a Jakab-hegyi kolostor sorsát. Az épület berendezéseit elárverezték, s a falakat legyőzte a lassú enyészet.
1976 és 1988 között Kárpáti Gábor régész irányításával történt meg az épület feltárása, majd 2006-ban az állami tulajdonban lévő terület kezelője, a Duna-Dráva Nemzeti Park mintegy 35 millió forint értékben elvégezte a romok állagmegóvási munkáit. A Mecseket járó turisták egyik kedvenc célpontja a pálos kolostor. Az ide gyaloglók láthatják a XIII. században emelt gótikus templom, valamint a XVIII. században épített kolostor és az azt övező kőkerítés maradványait. A falak magassága 1-2 méter, ám az alápincézett kolostor folyosói, a cellák, a vendégszobák, a könyvtár és az ebédlő mérete és stílusa is kivehető.
Ötperces gyaloglással elérhetjük a Mecsek legszebb természetes kilátóját, a Zsongorkőt, ahonnan tiszta időben 60-80 kilométerre ellátni. Igaz, erre a kőteraszra sokan nem mernek kilépni, hisz a Zsongorkő alatt százméteres mélység tátong, s abba belenézni: szédület és borzongás. A kilátó mondai hősről kapta a nevét. A rege szerint a törököket harcban gyakorta legyőző Zsongor László lovon errefelé menekült jegyesével a túlerőben lévő kontyosok elől, s nem látván kiutat, erről a kőről a mélybe ugratta lovát. Zsongorkőtől negyedóra sétával elérhetjük a Jakab-hegyi bálványköveket. Őseink hite szerint ezek a kövek valaha emberek voltak. Kővé válásuk története a következő: két dölyfös család gyermeke ugyanazon a napon kötött házasságot a remeték templomában, s a két nászmenet a hegyoldalba vágott keskeny úton szembetalálkozott. Mindkét násznép azt hajtogatta, hogy inkább kővé válik, de nem tér ki a másik elől, s fogadalmuk beteljesedett.
A kolostorhoz autóval és tömegközlekedési járművel nem juthatunk fel. Az épületet célba vevő turisták több irányból is startolhatnak. Pécsről, az Égervölgyből, valamint Kővágószőlősről egyaránt 80-90 percnyi séta kell a kolostor eléréséhez. Ha valaki a Pécs-Hetvehely közti útról letér a volt uránbánya egyik üzeme, Petőcz akna irányába, akkor az akna parkolójában hagyhatja autóját, s onnan elég 50-60 percnyi gyaloglás. Biciklin is feltekerhetünk a kolostorhoz. Orfűtől hat és fél, a Pécs és Orfű közti Remeterétről öt kilométert kell pedáloznunk a romokig. Idegenek térkép nélkül ne vágjanak neki az útnak, a Mecsekről úgyis remek turistamappákat kaphatunk.