V análech najde se první písemný doklad o Kostelní Bříze kolem roku 1370, jedná se o listinu, kterou propůjčili Leuchtenberští markrabí svá kynšperská léna Kynžvartským rytířům. Listina uvádí osady Arnoltov, Bystřina, krásná Lípa, Kostelní Bříza, Libava, Ostrov, Rovná, Studánka, Týmov, Žitná a Vranov s tvrzí Plickenstein (asi odtud pocházel rod Plicků z Nejdku). Posléze se tam uvádí ještě jakýsi Heřmanov, dnes zaniklá ves.

Od 15. století snad i dříve zde vládli Satampachowé ze Satampachu na Lukách a Seenlindu, kteří vlastnili dvůr a dali přestavět kamenný kostelík na větší kamennou budovu. V roce 1615 přikoupili bratří Satampachowé od Čejky z Olbramovic panství Reichenbašské (Bystřina).

V roce 163 prodali toto panství Winklerům z Heimfelu, kteří tu vládli až do roku 1682. Po nich vlastnili území Multzové z Waldau, Erdmann z Groppau a rytíř Turba. Ten k svým statkům přikoupil v roce 1965 panství Arnoltovské. Od něj je vyženili páni ze Spieglu a v roce 1846 Auerspergové.

Už v roce 1760 zde dali Turbové postavit budovu pro tehdejší starou školu. Škola však musela být v roce 1780 pro své malé rozměry přestavěna a v roce 1873 byla postavena nová škola v dnešní podobě.

V roce 1767 nechal postavit rytíř Turba zámek v nynější podobě, avšak podle análů stál zámek jíž v 15. století.

Pozdější majitelkou panství byla Marie Anna, svobodná paní ze Spieglu, rozená Rodovská z Hustířan, která získala statky koupí a patřily jí pak i okolní vesnice. Dalším majitelem panství byl baron von Kopal.

Posledním majitelem zámku a panství byl baron Viktor von Brandt, který vysídlil v roce 1946 do Rakouska. Jeho bratr Gottlieb, který měl za manželku Francouzsku, byl za okupace vězněn v koncentračním táboře, po osvobození se vrátil jen krátce a také vysídlil do Rakouska. Posledním správcem panství byl Mikšch.

V obci býval i menší panský pivovar a palírnou kořalky, byla zde i chmelnice, špitál a myslivna. V polovině 19. století měla Kostelní bříza 350 obyvatel.