När rivningen av byggnaden ”De fallna storheternas palats” påbörjades i mitten av 1940-talet hade fastigheten förfallit så pass mycket att den mer ansågs som ett ruckel. En gång var det en av de mera imponerande byggnaderna i stadsbilden.
Det var under 1860-talet färgaren J. F Bergström bad att få tomten i kvarteret Siken insynad. Bergström hade 1860 övertagit ett färgeri som tidigare drevs av rådman E.E. Nyman.
I byggnaden drev Bergström sedan ett stort färgeri. Det stora timrade huset låg där Piteå hälsocentral nu finns, ut mot Sundsgatan. Efter rivningen bebyggdes området med Tempovaruhuset, senare Åhléns.
J. F Bergströms hustru drev diversehandel i byggnaden, som dessutom innehöll moderna bostadslägenheter, vilka hyrdes av de som ansåg sig tillhöra de bättre kretsarna i staden.
På den tiden flöt Sundskanalen genom staden och alldeles intill byggnaden. Omgivningen i övrigt bestod av låga envåningshus och fiskarbodar. Bergströmska ”palatset” stod som en skarp kontrast mot övriga byggnader.
Det kom sämre tider. I början av 1880-talet drevs Bergström, och för övrigt en del andra affärsmän i Piteå, på ruinens brant.
Fastigheten såldes på auktion 1886. Byggnaden bestod av gård i två våningar, varav den nedre innehöll fyra rum och två kök samt handelsbutik. Den övre av sex rum och två kök. På tomten fanns uthus, inrymmande färgeri, ladugård och foderbod, visthus och vedhus.
I fastigheten fanns även en fotoateljé. Gården var taxerad för 14 000 kronor och brandförsäkrad för 14 000 kronor.
Vid aktionen ropades fastigheten in av målaren J. W Granberg för 6 500 kronor. Bergströms jordlotter såldes till fru Ulla Winroth för 2 600 kronor.
1887 gick även Bergströms egendom på Fårön, som en del i konkursen, ut på auktion. Den bestod av en byggnad innehållande i nedre våningen ett boningsrum, kök, två skrubbar, förstuga och källare. Bägge rummen försedda med spisar samt köket dessutom med järnspis samt i övre våningen två rum, den ena avdelad i en alkov med särskild eldstad. Det hela värderades till 6 500 kronor. Bergström ägde även Carlsgärdet, värderat till 1 200 kronor
1889 kunde man i en tidningsnotis läsa att egendomen på Fårön ägdes av Bottniska städers hypoteksförening och utarrenderades.
Som ägare till ”De fallna storheternas palats”, efter nuvarande Sundsgatan, står 1896 Jeanette Granberg, Viktor Granberg och. A. Collberg. Fastigheten bjöds då ut till försäljning saluvärderad till 12 000 kronor
J. E Bergström hade då avslutat sin färgerirörelse. Den drevs fram till 1891.
Sedan köptes tomten av firma Axel Collberg för 2 862 kronor. Säljare var Axel Collbergs konkursmassa allt enligt en avhandling från november1905.
Noterbart är att vid 1902 års utgång fanns det 289 hus i centrala Piteå.
Senare användes huset huvudsakligen som bostadsfastighet. En rad tjänstemän, tullförvaltare, jägmästare med flera bebodde lägenheterna.
När moderna fastigheter började byggas på annat håll i staden flyttade de ”fina” hyresgästerna en efter en för att avlösas av personer som stod mindre högt på den sociala rangskalan.
Det var också under denna tid som huset fick namnet ”De fallna storheternas palats”. Det dröjde inte länge innan byggnaden blev en skönhetsfläck i stadsbilden och rivningen sedan kom till stånd.