Det første Gråsten var et lille jagtslot, opført i midten af 1500-tallet. Efter at slottet nedbrændte i 1603, opførtes et nyt slot, der sandsynligvis har ligget, hvor det nuværende Gråstens sydfløj er placeret.

Gråsten Slot.

Under storkansleren Frederik Ahlefeldt, der var ejer af Gråsten 1662-82, og hans søn, opførte man kort før år 1700 et vældigt barokslot. Det brændte imidlertid i 1757, og kun slotskirken og nogle pavilloner blev bevaret. Det nuværende Gråsten Slot stammer således fra 1759, hvor en ny sydfløj blev opført, og fra 1842, hvor midterbygningen blev opført. Efter 1864 blev slottet overtaget af Augustenborgerne, og i begyndelsen af det 20. århundrede blev der foretaget betydelige ombygninger.

Efter 1920 overtog staten slottet. Det blev herefter anvendt til blandt andet retslokale, bolig for dommer og politimester samt til bibliotek, inden det i 1935 - efter en omfattende restaurering - blev overdraget som sommerbolig til kronprinseparret (senere Kong Frederik IX og Dronning Ingrid).

Fra 1998 lejlighedsvis vagt af Livgarden på Gråsten Slot, når Hendes Majestæt Dronning Margrethe II residerede på slottet.
Tidligere havde Livgarden vagten fra 1949 til 1971.

Når Hendes Majestæt opholder sig på Gråsten Slot, sender Vagtkompagniet et detachement afsted. Der kan oprettes Kongevagter og Palævagter, når et detachement er oprettet. Fredage vil der være parade, hvor Musikkorps og Tambourkorps tillige indgår i paraden.

Paradestyrken afmarcherer uanset vagttype fra "Palæet" klokken 11.43. Der er vagtskifte hver dag klokken 12.00, og mandskabet har således indgået i vagtstyrken i 24 timer efter det traditionelle postafløsningssystem med to timer på post og fire timer i beredskab og hvile, forplejning og soignering.