Efter kaptein Svend Agers død 1800 overtog snart
ældste søn Jakob Holst Ager gaarden efter en takst af
2000 rdl. Han byggede en prægtig ny hovedbygning,
som endnu staar og er i brug. Den nu ærværdige og
gammelkoselige bygning er sikkert en heldig repræsentant
for bygningsskik blandt Tønsberg-egnens konditionerte
omkr. 1800. Men antagelig blev byggevirksomheden eieren
vel kostbar; thi i 1806 afhændede han Aker til en fremmed,
Peder Bertelsen, for 11000 rdl.
I 1810 tog næstældste søn efter Svend Ager, Hans Glad Ager, gaarden igjen paa odel, men maatte betale den med 18000 rdl. Hensigten var at skaffe den ældre bror gaarden tilbage. Denne vilde altsaa gjøre et nyt forsøg paa at hevde stillingen. Det gik ikke. Allerede 1812 maatte Jakob Holst Ager for anden gang overdrage Peder Bertelsen Aker – og tabte tilmed 6000 rdl.
Peder Bertelsen solgte straks eiendommen til kjøbmand Nils Bull i Tønsberg, som beholdt den til 1825.
Nu kom Aker atter over til bønder. Ola Olssøn og Berulv Knutssøn fra Drangedal kjøbte ved skjøde af 29⁄10 1825 Aker for 7000 spd. Men saa begynder opdelingen. Aaret efter solgte de to bønder 1⁄3 af Aker til byfoged Lahn for 4000 spd. Efterpaa delte de resten sig imellem og frasolgte underbruget Løkeberg.
Senere har Aker som regel været delt i 3 brug.
Nu i 1907 eies de af følgende:
Nr. 1. Skibsreder Carsten Bruun, hvis hustru Maren Sybille Bull Foyn er sønnedatter af Bente Marie Ager. Det var denne part, byfoged Lahn kjøbte i 1826, og her staar den gamle hovedbygning. Bruget skiftede flere gange eier i de følgende aartier. Endelig kjøbte Laurentius Foyn det tilbage til Jakob Olssøns slegt i 1875. Kjøbesummen var da 5000 spd. Den nuværende eier overtog eiendommen i 1890.