Замок протягом XIV-XVI століть був родовим гніздом князів Острозьких - найбагатших магнатів Речі Посполитої тих часів і найбільшого свого розквіту досяг при Костянтині Івановичу Острозькому.
Рід князів Острозьких, які володіли містом майже без перерв з 14 по 17 ст. і були одними з найбагатших та найвпливовіших українських магнатів, заслуговує на увагу.
Даниїл відомий своїми щедрими пожертвуваннями місцевим храмам, він же смертельно поранив в битві королівського гетьмана Войцеха Целея. Його старший син Федір (помер бл. 1441 р.) розширив острозькі володіння, боровся на стороні Яна Гуса проти Тевтонського ордену, сам воював з своїм загоном в Грюнвальдський битві в 1410 р. Василь Федорович Острозький (Красний) (помер до 1461 р.) теж розширював володіння, був приятелем великого князя литовського Казимира Ягеллончика. Саме він збудував багато чого в Острозі, Дубно та інших волинських містах.
Його онук - литовський гетьман Костянтин Іванович Острозький - прославився перемогами над татарами. Він заснував татарське передмістя з в'їздною баштою, де поселив взятих в полон татарів.
Найзнаменитішим же був його молодший син - Костянтин-Василь (1526 - 1608 рр.). В 1550 р. він став володимирським старостою, в 1559 р. - київським воєводою, а після Люблінської унії ще й коронним сенатором. Це був успішний правитель та сміливий полководець, який всіляко підтримував православну церкву, розвивав українську культуру та книгодрукування. Він був настільки багатим, що навіть ходив вираз: "багатий, як Острозький". Закінчився цей могутній рід його молодшим сином Янушем (помер в 1620 р.), який не залишив дітей.
Ось тaк приблизно одягaлися Острозькі
A це портрет Гaльшки Острозької і короткa оповідь про її досить трaгічну долю...
*
Гальшка Іллівна (Єлизавета, Євдокія) Острозька (1539 — †1582) — дочка Іллі Острозького та Беати Костелецької.
Народилась в Замку Острозькому 1539 року. В той же рік за три місяці до її народження помирає її батько Ілля.
Представники багатьох магнатських сімей намагались поріднитися з могутньою сімєю Острозьких.
Попри дану у 1552 р. попередню згоду Беати на шлюб князя Дмитра Сангушка і Гальшки, невдовзі вона відмовилася від свого слова, тим більше, що проти цього шлюбу, який поєднав би два провідні княжі роди України, висловлювався польський король. Збройні загони князів Острозького та Сангушка штурмом оволоділи замком в Острозі і всупереч волі матері, у вересні 1553 р. Гальшка була одружена з князем Дмитром. Королівський суд оголошує Сангушка поза законом. У лютому 1554 року князя було вбито (похований він в костелі чеського міста Яромір).
Вже проти волі матері, король Сигізмунд II Август видав юну вдову за у кілька разів старшого за неї воєводу Лукаша Гурку. Гальшка разом з матір’ю, не визнаючи цього шлюбу, переховуються у Львівському домініканському монастирі, де Беата уклала третій шлюб дочки – із князем Семеном Слуцьким. Однак сила і королівська підтримка була на стороні Гурки, який після збройної облоги заволодів Гальшкою і вивіз у свої володіння в Шамотулах (Велика Польща). Не підкорившись нав’язаному їй чоловікові, Гальшка Острозька 14 років провела у “вежі чорної княгині” – одній із башт Шамотульського замку, названій так у зв’язку із траурним вбранням, у якому вона зрідка з’являлася на люди.
Овдовівши в 1573 р., Гальшка повертається на батьківщину. Свої права на маєтності покійних на той час батьків, включаючи і Острог (узурпований другим чоловіком Беати Костелецької Альбертом Ласським, а згодом і королем) княжна передала дядькові Василю-Костянтину Острозькому (1526-1608), який, завдяки сприятливій для Острозьких політичній ситуації у державі, зумів повернути їх у володіння свого роду.