Замок был построен в конце XIV в. и первоначально принадлежал Роберту Стюарту, первому герцогу Олбани.
Женившись на Маргарет, графине Ментейт, Роберт Олбани получил титул графа Ментейта и Файфа. Второй сын короля Роберта II и брат Роберта III, в 1382 г. он был назначен лордом великим камергером Шотландии — ответственным за сбор доходов в королевскую казну, а после смерти Роберта III был провозглашен правителем Шотландии.
После смерти Роберта замок унаследовал его сын Мердок. Но в 1425 году он был казнен по приказу короля, замок перешел в собственность короны и на протяжении ста лет использовался как королевский охотничий домик.
В 1570 г. замок перешел к сэру Джеймсу Стюарту, 1-му лорду Дуна. После его смерти в 1590 г. замок унаследовал его старший сын, который, женившись, получил титул графа Морея. С тех пор замок находится в собственности этой фамилии.
Во время восстаний якобитов в 1689 и 1715 гг. в замке располагался правительственный гарнизон. В 1745 г. Дун был захвачен якобитами, которые устроили в замке тюрьму.
К концу XVIII в. замок пришел в плачевное состояние — у него обвалилась крыша. Попытки реставрации предпринимались в 1833 г. и 1970 г. В 1984 г. 20-й граф Морей передал замок на попечение государства.