Po przeniesieniu stolicy z Krakowa do Warszawy, za dworem królewskim zaczęli przybywać urzędnicy. Wiązało się to z budową licznych rezydencji magnackich. Wśród ogrodów i pól znajdujących się w pobliżu folwarku starostwa warszawskiego, Jerzy Ossoliński, kanclerz wielki koronny, wzniósł w 1641 r. okazały pałac. Budynek typu palladiańskiego nosił ślady wpływów włoskiego renesansu. Fasadę zdobiły rzeźby królów. Na tyłach budynku Ossoliński założył ogród ciągnący się aż do ulicy Reformackiej.
W czasie Potopu Szwedzkiego w 1657 r. pałac został mocno zniszczony. Chociaż próbowano go przebudować, nie odzyskał dawnej świetności. Nieustannie zmieniali się też właściciele pałacu. Po wyjściu za mąż córki Ossolińskich, pałac przeszedł wraz z jej uposażeniem w ręce Lubomirskich. Wtedy to otrzymał nazwę „Sandomierski”. Nie bez powodu. W rodzie Lubomirskich przez dwa pokolenia utrzymało się starostwo sandomierskie.
W 1720 r. posiadłość wraz z pałacem stała się własnością Sanguszków. Oni to w 1727 r. darowali pałac Augustowi II Sasowi. Pruski władca skupował okoliczne grunty, aby stworzyć okazały ogród. Pałac Sandomierski miał zostać zburzony. Trudności finansowe udaremniły te zamiary. W 1733 r. pałac wrócił do Sanguszków. Dla dalszych losów budynku nie były to szczęśliwe lata. Pałac dwukrotnie trawił pożar.
Mimo prawie kompletnej ruiny, znalazł on nowego nabywcę. Przejął go w 1750 r. Henryk Brühl, saski premier ministrów, zaufany doradca Augusta III. Wcześniej Brühl mieszkał w oficynach królewskiego pałacu, i marzył o własnej siedzibie blisko króla. Pod jego okiem w ciągu dwóch lat budynek przebudowano tak, że stał się perłą architektury rokokowej w stolicy. Architekt Jan Gotfryd Knöbel, przywrócił dawną formę czworoboku, jaką pałac posiadał za czasów Sanguszków. Fasadę główną podwyższono o jedną kondygnację. Dobudowane zostały oficyny. Przekształcono również wnętrza z użyciem elementów dekoracji sprowadzonych z Drezna. Przy pałacu powstał ogród geometryczny.
Niespokojna natura właściciela jakby odcisnęła piętno na murach pałacu. Po śmierci Brühla, w 1764 r. pałac zajęła ambasada rosyjska. Zaczął tu urzędować carski ambasador Keyserling. Po nim funkcję objął Repnin, który więził tu polskich biskupów: Sołtyka, Załuskiego oraz Rzewuskiego. Pod koniec Sejmu Czteroletniego ambasada przeniosła się do pałacu Teppera, zaś pałac Brühla znalazł się wkrótce w posiadaniu ks. Adama Ponińskiego, podskarbiego wielkiego koronnego, postaci znanej z tragicznych lat upadku Polski. Poniński sprzedał pałac biskupowi wileńskiemu Ignacemu Massalskiemu. Ten pozbył się go dość szybko, z powodu trudności z załatwieniem ostatecznych rozrachunków z Ponińskim. Obciążony długami pałac przeszedł na własność skarbu Rzeczypospolitej. Rozparcelowana została część przylegającego doń ogrodu i utworzono ulicę Nową nazwaną później Niecałą.
Pałac ponownie stał się siedzibą ambasady carskiej. Kiedy po rozbiorach Warszawę ustanowiono stolicą Prus Południowych, w pałacu Brühlowskim mieściła się rezydencja pruskich generałów. Losy budynku były nie mniej tragiczne niż losy Rzeczypospolitej. Kiedy do Warszawy wkroczyły francuskie legiony, w pałacu osiedlił się Hieronim Bonaparte, brat cesarza.
Po upadku Księstwa Warszawskiego w pałacu zamieszkał senator i komisarz carski Nowosilcow, a w budynku umiejscowił się „Komitet Śledczy do Dochodzenia Towarzystw Tajnych”.
W kolejnych latach pałac Brühla tracił coraz bardziej na wyglądzie.
W 1882 r. przeznaczony został na Centralny Urząd Telegraficzny Królestwa Polskiego. Wówczas nabrał ściśle urzędowego charakteru. Zniszczono wewnętrzne dekoracje i układ komunikacyjny budynku. Tylko ocalałe fragmenty budowli i monumentalność budynku świadczyły o jego dawnej świetności. W sali balowej urządzono cerkiew. Ogród został rozparcelowany i sprzedany. Wtedy utworzono nową ulicę Kotzubego, późniejszą Fredry.
Dawny wygląd z epoki saskiej przywrócono pałacowi w 1932 r., kiedy to miał zostać siedzibą Ministerstwa Spraw Zagranicznych Rzeczypospolitej Polskiej. Przywrócony został mansardowy dach głównego korpusu oraz hełmy narożnych pawilonów od dziedzińca głównego. Wnętrza odnowiono według projektu architekta Bohdana Pniewskiego. Od strony ul. Fredry dobudowano nowe skrzydło.
Podczas okupacji pałac Brühla był siedzibą władz dystryktu. Tu mieszkał niemiecki gubernator Fischer. Niestety, podobnie jak inne historyczne budowle stolicy, pałac Brühla wysadzony został w 1944 r. przez Niemców w ramach represji za Powstanie Warszawskie. Jego ruiny rozebrano dopiero po 1945 r. Obecne władze Warszawy planują odbudowę pałacu Brühla wraz z pałacem Saskim.