Jest to jedna z dwóch największych wysokości względnych na terenie całego Gdańska. W czasach przedhistorycznych miało tu być miejsce pogańskiego kultu, chociaż dotąd nie znaleziono jego śladów. U podnóża w 1186 r. powstał klasztor cystersów, który z biegiem czasu stał się jednym z najbogatszych w kraju. Pierwsza wiadomość o wzgórzu pochodzi z roku 1734, w którym Rosjanie, wspomagający Augusta III, obsadzili okolice i szykowali się do oblężenia miasta z chroniącym się w nim Stanisławem Leszczyńskim. Dnia 22 lutego wracający z objazdu klasztornych włości przeor Iwo Roweder zanotował: „Dosiadłszy konia jechałem przez góry i lasy, pola, jak ktoś, komu strach dodaje skrzydeł. We wszystkich mijanych miejscowościach widziałem jakby opustoszałe domostwa i ludzi kryjących się pod dachem jak lisy w jamie. O świcie dotarłem bez przeszkód do góry zwanej Pachołek, ale na jego szczycie natrafiłem na pierwszy posterunek Moskali, tam przesłuchawszy zaprowadzili mnie do drugiego, potem jeszcze raz, stamtąd posłali do kancelarii urządzonej w rzeźni, skąd żołnierze zaprowadzili mnie do pobliskiej szklarni, gdzie po raz drugi zostałem przesłuchany i mimo okazania listów uwierzytelniających musiałem się uwolnić od wszelkich podejrzeń.”

Nazwę wzgórza - niewątpliwie dużo starszą - przeor zapisał w zabawnej niemiecko-polskiej postaci Pacholkenberg. Skąd się wzięła, możemy tylko przypuszczać. Pachołek oznacza sługę. Słudzy klasztorni wypasający trzodę w lesie mogli mieć pod szczytem jakąś budę dla ochrony przed deszczem. Mogła się tam również znajdować strażnica pożarowa. O zagrożeniu tego rodzaju świadczy notatka z roku 1739: „Dnia 28 czerwca po nieszporach około godziny 5-ej zajął się ogniem las koło góry Pachołek, mocno między górami się rozszerzywszy objawił się gęstym dymem, co widząc czcig. ojciec przeor wraz z czcig. ojcem Ambrożym, prefektem młyna, spiesznie mieszkańców Oliwy dźwiękiem dzwonów kazał zwołać i zarządziwszy, by skwapliwie wodę końmi klasztornymi dowozili, sam tam najpilniej się udał, aby temu złu zaradzić, co dzięki błyskawicznemu napływowi masy ludzi z żelaznymi wiadrami i motykami oraz dowozowi wody chwała Bogu udało się ugasić.”

W 1782 r., po śmierci opata Rybińskiego rządy w klasztorze objął Karol von Hohenzollern-Hechingen, późniejszy biskup chełmiński i warmiński, który wybrał sobie Oliwę na stałą rezydencję. Z jego polecenia sławny architekt ogrodowy Jan Saltzmann zabrał się za upiększanie wzgórza, nazwanego teraz Górą Karola (Karlsberg). W 1798 r. powstał na szczycie pawilon widokowy, który odwiedziła ciesząca się powszechną sympatią królowa Luiza, żona Fryderyka Wilhelma III. Miała wówczas 22 lata i spodziewała się trzeciego dziecka. Stanęła kwaterą w Pałacu Gubernatorskim na Długich Ogrodach (dawnym pałacu Jerzego Wandalina Mniszcha), gdzie dołączył do niej król. Na drugi dzień (31 maja) pojechała do Oliwy. Po obiedzie u księcia biskupa zawieziono Luizę w specjalnym powozie na górę Pachołek, gdzie mogła podziwiać zachwycającą panoramę Oliwy. Na sąsiednim wierzchołku opat kazał potem wznieść drewniany obelisk z cytatem z Goethego: „Miejsce, na które wstąpił człowiek dobry, jest uświęcone.” Okoliczny las nazwano Gajem Luizy. W 1882 r. na wzgórzu wyrosła murowana wieża widokowa, wysadzona w powietrze w czasie ostatniej wojny.


Z kolei w 1889 r. z inicjatywy oliwsko-sopockich kombatantów na miejscu starego powstał nowy pomnik Luizy. Na szczycie monumentu z meklemburskiego granitu wzlatywał w powietrze spiżowy orzeł. Całość otoczyło metalowe ogrodzenie.

Nadeszła wojna, wymieniła się ludność, zblakły dawne "świętości". W czasach PRL-u przerobiono pomnik Luizy na monument Zygmunta III. W l. 1970-ych wybudowano nową wieżę widokową i drogę na szczyt, daleką od zasad ochrony środowiska. Wieża stoi zdewastowana, pomnik jest nieczytelny. Czy musi tak być? W niczym nie uchybiając Zygmuntowi III, można by chyba odnowić pomnik Luizy, która - czy się nam podoba czy nie - była przecież także władczynią Polaków (przyznajmy: nie antypatyczną!) z zaboru pruskiego. A na pewno można i trzeba wyremontować wieżę i uporządkować teren.