Spichlerz znajduje się na końcu wsi, po prawej stronie drogi. Kozia Góra położona jest na zachód 6 km od Karlina, przy drodze nr 6 na trasie Gdańsk-Szczecin.

Spichlerz w Koziej Górze był jednym z wielu elementów zespołu pałacowo-parkowego. Wybudowano go w połowie XVI w. Obiekt ma konstrukcję szachulcową. W przeciągu wieków w wyniku różnych działań był przebudowywany, a także zniszczony. Następnie, pod nadzorem wojsk napoleońskich, spichlerz odbudowano i zmodernizowano. Później budowla przeszła gruntowny remont w latach 70-tych XX w. W wyniku tych prac zlikwidowano konstrukcję ryglową ściany południowej, wymieniono stolarkę okienną i drzwiową pozostawiając stary skobel. W chwili obecnej spichlerz nie jest dostępny dla zwiedzających, można go oglądać jedynie z zewnątrz.