Koskull ansåg för övrigt Luleå som en avlägsen plats vid en sidoväg, obebodd och svårtillgänglig kommunikationsmässigt sett. I Norrbotten och i Piteå befann han sig dock sällan. Han skötte sysslan i stort från Stockholm.
När beslut togs 1851 om en flyttning till Luleå framfördes då, som ett av argumenten, att av länets befolkning på 53 905 personer skulle 50 000 få en mil närmare till länets allmänna ämbetsverk. I ett tidningsinlägg betonas att "om länsresidenset skulle flyttas från Piteå om detsamma oundvikligen skulle förläggas i någondera av städerna då är det klart att Luleå stad som av städerna är närmast medelpunkten i länet är mest fördelaktigt härtill".
Byggnaden utdömd
Piteåborna försökte på många olika sätt, under de år Piteå var residensstad, bereda landshövdingens trevnad. Om hans residens hette det i en samtida reseskildring."Landshövdingens residens som ligger vid det lilla, nätta torget, är icke stort men väl byggt och trevligt. Den som varit där en gång, önskar ofta att komma dit åter".
Vid tiden för beslutet om lokaliseringen till Luleå noterades att residenset i Piteå en lång tid varit obeboeligt och vid syn utdömd som irreparabel.
1821 lämnade Koskull sin befattning och efterträddes av Paul Öhrvall för att efterträdas av greve Carl Georg Sparre, som innehade ämbetet 1825-1836, men som inte heller hann ofta befann sig i Piteå. Han tjänstgjorde nämligen vid kammarrätten i Stockholm. Carl August von Hedenberg vikarierade för Sparre och fick tjänsten efter denne. Hedenberg blev kvar i Piteå fram till sin död 1849 och är begravd i Öjebyn. Hedenberg efterträddes av Åkerhjelm år 1849, som blev den siste landshövdingen i Piteå.
Bittra känslor
1848 väckte Bjuhr en motion om inrättande av folkskollärarseminarium i Piteå. Samtidigt förde han i en annan motion fram förslaget om en flyttning av residenset till Luleå. Ett par år senare hanterades i Stockholm en skrivelse från landshövdingen, som även han tillstyrkte flyttning. Ett flertal insändare publicerades i tidningen Norrbottens-Posten såväl under 1850 som 1851 kring flytten.Luleåborna ville att landshövdingen snabbt skulle överflyttas i Luleå och lyckades slutligen få kung Oscar att underteckna beslutet om residensets flyttning till Luleå. Regeringens beslut 1851 väckte bittra känslor hos Piteåborna.
Därtill har det spekulerats att landshövdingens fru skulle ha påskyndat beslutet genom att klaga på den undermåliga byggnaden, att där blev så kallt om fötterna. Hon vantrivdes helt enkelt i Piteå.
Det handlade nog mera om breddgrader än om Piteå eller Luleå. Hon hade troligen större längtan söderut.
I början av 1852 hade residenset i Piteå sålts för rivning. Köpare var C A Winroth och med kravet att byggnaden skulle vara riven och tomten utplanerad den 1 juli 1852. Men ännu några år fick Piteåborna ha landshövdingens närvaro. 1857 köptes tomten med övriga byggnader av Piteå stad.
"En viss tomhet "
Sommaren 1856 var alltså tiden inne att bjuda landshövdingeparet farväl.Den 6 juni gav stadens och ortens invånare en avskedsmiddag i Societetshuset. Högtidstalet hölls av doktor Axel Almquist. Där dracks avskedsskål, blåstes fanfarer och hurrades livligt. På kvällen åtföljdes landshövdingen med sin friherinna under regementsmusik hem till sin bostad.
Strax före sin avresa den 11 juni gjorde också landshövdingen en penningdonation till staden och ortstidningen konstaterade slutligen att "en viss tomhet rådde i staden efter landshövdingens avresa."