A mai Sárvári Arborétum helyét az írásos feljegyzések szerint eredetileg zöldséges és gyümölcsös kertek foglalták el. A vártól keletre fekvő, ma 9,2 hektár területű arborétumot, eredetileg az Este-Modenai család alapította 1812-ben. Az egyik részébe visszatértek a gyümölcsösök, míg a másikban megmaradtak az öreg tölgyek.
Szerencsére a 2. világháború nem hagyott mély nyomokat, az 1950-es években történt helyreállítások után pedig védelem alá helyezték az Arborétumot. A növénygyűjteményét azóta fejlesztik, így ma már több mint 300 fa-, és cserjefaj található a területén. A több száz éves platánfák, tiszafák, fekete fenyők, vasfák mellett a liliomfafajták a legjelentősebbek.