В XV веке династией Адил Шаха был построен огромный дворец, но в 1615 году здание перестроили под форт, защищающий столицу. Идалько Пэлэс-второе его название Адильшахи Пэлэс-самый древний исторический памятник в Панаджи-расположен на побережье реки Мандови. Португальцы, перестроив дворец султана Биджапура из крепости, с 1759 по 1918 года пользовались им как дворцом для вице-короля. В настоящее время дворец занимает секретариат и другие службы Правительства Гоа.
Юсуф Адиль Шах построил огромное здания в 1500 году на берегу реки для отдыха, но позднее дворец укрепили и присоединили к артиллерийским крепостям, превратив огромный дворец в крепость-форт для защиты от португальцев. Это стратегически расположенное здание использовали и в качестве первого таможенного поста, грузы иностранных кораблей проходили здесь полный досмотр.
С 1759 года большинство португальских королей останавливались здесь перед отбытием на Родину, как в своей официальной резиденции. После переезда вице-короля из Старого Гоа в Панаджи внутри дворца выстроили небольшую часовню.
В 1918 году вице-король переезжает в Кабо Пэлэс. Великолепный Крест часовни переносят в Фонтаньяс, а в Церковь Непорочного Зачатия, что в Панджи, был перенесен резной экран главного алтаря.
После 1918 года в апартаментах дворца расположились кабинеты министра юстиции и кабинет капитана порта. В Провинции Гоа, получившей независимость, дворец получил известность, как секретариат. В нем располагается в настоящее время Законодательное Собрание провинции.