Od 1546 roku, kiedy Mikołaj Radziwiłł Rudy został kalwinem, aż do połowy XVIII w., Birżami rządziła protestancka, birżańsko-dubincka gałęź Radziwiłłów. Birże stały się ośrodkiem kalwinizmu. Krzysztof Radziwiłł-Piorun wybudował zamek - rezydencję. W celu obronnym, po spiętrzeniu dwóch rzek: Agluony i Apaszcza (lit. Apaščia), powstał najstarszy na Litwie sztucznie uformowany zbiornik wodny o powierzchni 336 ha – jezioro Szirwenos (lit. Širvėnos).
Miasto było otoczone obronnymi murami i wałami. Wybudowano ratusz i inne budynki użyteczności publicznej oraz kościół ewangelicko-reformowany.
Na zamku podczas wojny północnej została podpisana słynna Umowa Birżańska pomiędzy carem Piotrem I i elektorem Saksonii Augustem II. Na początku XIX w. zamek Radziwiłłom zabrał car, jakoby za niespłacone długi i tanio sprzedał Tyszkiewiczom. Tyszkiewiczowie wybudowali dwór w Ostrawie, do którego obecnie prowadzi długi most przez jezioro. Zwiedzając Litwę, czy po drodze na Łotwę, Bieże są po drodze. Wycieczki po litewskiej Auksztocie są wyjątkowo ciekawe.