Het antwoord dat Marcus Adams gaf, heeft ook een sneltoets: Ctrl + Alt + End. Je moet wel in volledig scherm zijn en/of de RDP-sessie op Maak Windows toetscombinaties aan op de computer op afstand. Hierdoor wordt effectief een Ctrl + Alt + Del naar de externe computer gestuurd (handig om te weten voor andere gelegenheden/gebruiken). Van daaruit kun je, zoals Marcus al zei, naar Restart, Shutdown, etc. gaan via het kleine rode power button icoontje in de rechter benedenhoek.
Als alternatief kun je een keer op het bureaublad (of de Taskbar) van de externe computer klikken en vervolgens op Alt + F4 drukken en krijg je de ouderwetse pop-up met alle uitschakelopties in het uitklapmenu.
Update: zoals vermeld in het commentaar, Ctrl + Alt + End in Windows 10 geeft je alleen de optie om de verbinding te verbreken. Je kunt van daaruit niet herstarten of afsluiten. Ik kan ook geen Windows Beveiligingsoptie vinden in het Startmenu… Maar geen nood, zoals vermeld de Alt + F4 methodiek werkt nog steeds , en die gebruik ik nu exclusief (ik doe elke dag op afstand voor het werk, en beheer ook thuis meerdere machines).