Ludvigsbergs historia börjar 1776 då möbelhandlaren Adolf Ludvig Levin kom till Muskö. Han lät bygga herrgården i gustaviansk stil och mangårdsbyggnaden stod klar 1782. Invigningen skedde året därpå då makarna Levin firade sin silverbröllopsdag. Många kända personer har varit gäster på herrgården genom åren, inte minst Carl Michael Bellman som till och med har diktat om festligheterna på Ludvigsberg.
1900-talets Ludvigsberg har en brokig historia. Det drevs som sommarpensionat på 1940-talet. Senare köptes herrgården av Kronan, som arrenderade ut den till Svenska kyrkan. Under 80- och 90-talen var Ludvigsberg i privat ägo. År 2000 bytte herrgården ägare. Huset rustades upp och var fest- och konferensanläggning fram till 2013. Vad som händer nu med gården är inte känt.