Ruiny pałacu znajdują się w środkowej części wsi, około 6 km od Wałcza, nieopodal drogi nr 163 na trasie Wałcz – Czaplinek. Z drogi widoczne są po lewej stronie (przy dojeździe z Wałcza) fragmenty ruin, częściowo zasłonięte wysokimi drzewami. Na skrzyżowaniu w centrum wsi, należy skręcić w lewo, minąć budynek folwarczny zbudowany z kamieni granitowych i czerwonej cegły i tuz za nim skręcić w boczną kamienno – piaszczystą drogę, która doprowadzi do parku okalającego pałac. Nie należy parkować auta zbyt blisko murów pałacu ze względu na ich stan techniczny. 

Pałac został zbudowany w latach 1731-1745 przez rodzinę Golców, którzy byli właścicielami wsi Kłębowiec od XVI wieku. Była to budowla w stylu barokowym, nawiązującym do wzorów francuskich, zaprojektowana zasadniczo na planie prostokąta, rozbudowanego ryzalitami tworzącymi niemal oddzielne skrzydła, zaś poprzez dobudowanie w narożnikach dwóch oficyn układ całości przybrał kształt podkowy. Główna  fasada zwrócona jest na północ, elewacja ogrodowa zaś na południe. Pałac był dwukondygnacyjny, przy czym piętro części głównej było wyższe, niż piętra skrzydeł bocznych, w których większość pomieszczeń miało przeznaczenie gospodarcze . Pałac został wymurowany z cegły ceramicznej, pierwotnie otynkowany, z bogatymi zdobieniami architektonicznymi,  licznymi pilastrami, ryzalitami, gzymsami. Również w wnętrzach wielu pomieszczeń występowały profilowane gzymsy, stiukowe dekoracje, różnokształtne płyciny urozmaicające płaszczyzny ścienne. Zachowało się zdjęcie wnętrza sieni pałacu, na którym widoczne są dwuskrzydłowe drzwi zdobione płycinami w formie zbliżonej do owalu obramowanych szczeblinami w kształt prostokątów o zróżnicowanych wymiarach.   Na ścianach jednej z sal zachowały się malowidła, w innej – arkadowe wnęki w ścianach. Przed kilkunastu laty widoczna była dobrze zachowana wieńcząca szczyt tarcza herbowa flankowana postaciami rycerzy w zbrojach i hełmach z przyłbicami. Na niej gniazdo założyła para bocianów, dodając ruinom malowniczości. Obramowania okien również przez wiele lat przyciągały wzrok zdobieniami.  Po pożarze w 1945 r. zamek stopniowo popadał w ruinę. Ciekawostką może być fakt, iż najdłużej w miarę dobrym stanie zachowała się kaplica ewangelicka w oficynie wschodniej. Istnieje legenda mówiąca o tym, że w czasie budowy pałacu ktoś z rodziny Goltzów obraził starą kobietę, mieszkającą w tej wsi. Wielu mieszkańców Kłębowca i innych okolicznych wsi uważało, iż zajmuje się ona czarami. Na pewno zaś znała się na zielarstwie i umiała wyleczyć wiele chorób. Pomagała i ludziom i zwierzętom, zawsze więc jakieś zwierzaki kręciły się koło niej. Młody von Goltz  (imienia legenda nie wspomina, rzucił kamieniem w kota towarzyszącego kobiecie idącej przez wieś. Kiedy zwróciła paniczowi uwagę, ten wyśmiał ją obraźliwie. Kobieta powiedziała po cichu: „Zło do złego wraca, ty się ani zdrowiem ani pieniędzmi nie będziesz cieszył, a twoje dzieci nie pomieszkają w tym pałacu”. Budowa pałacu zakończyła się w 1745 roku, Goltzowie po czterdziestu latach przestali być jego właścicielami.