Et historisk holdepunkt er at norske fogder krevde inn finneskatten på Årøyholmen og på Uløya (Storslett) så tidligt som 1567 (Guttormsen side 243). Om norske fogder var der og krevde inn finneskatten så må det ha bott folk på Årøyholmen vid den tiden.
Ikke bare norske fogder var interesserte av finneskatten, men også svenske makthavere. De svenske skattelistene fra 1555 til 1608 er derfor av interesse for å fastslå hvem som betalte skatt til svenske myndigheter og hvor disse bodde. Arreby (Årøy) finns også i den svenske skattelisten som oppsamlingsplass for finneskatten.
Kung Gustav Vasa (1496-1560) drog inn birkarlenes private skatterett under kronan omkring 1550. Svenskenes store interesse for finneskatten kommer til utrykk ca. 1605 da svenskekungen Karl IX (1604-1611) skrev instruksjoner til birkarlene, de svenske handelsmenn og skatteinkrevere som holdt til på Nordkalotten.
For distriktet fra Malangen til vestenfor Alta skulle fisken føres til lensmann "Redhard Andersson i Årreby som ligger i Lingen och derifrån skall han føres til Fiordbotten, der Rusioke å utløper". Der skulle lapper fra Torne lappmark møte opp med hundre reiner og kjøre fisken etappevis til Torne lensmannsgård.Efter hva en vil forstå er betegnelsen "Årreby" ment å være Årøyholmen eller muligens Årøybukt, og fjordbotnen ved "Rusteioke å" kan neppe være annet sted enn Skibotn, det vil si Nallevuopio, hvor markedet fra først av blei holdt.
Hvem var denne "lensmann Redhard Andersson i Årreby som ligger i Lingen"? Det finns ingen Redhard Andersson blant de 50 navngitte samer i folketellinga fra 1601. Bygdeboka omtaler Redhard som svensk lensmann i Lyngen. Alltså svensk myndighetsutøvning forekom på stedet.
Hvor mange mennesker som bodde på Årøyholmen rundt 1600 er ikke godt å si. Noen fastboende befolkning tror man dog det har funnits like lenge som det har bott folk i fjorden. At fiskere har besøkt eller bott på Årøyholmen mycket tidlig framgår av funn av søkkestein som er 3-4 tusen år gamle.
Ole Hendriksen, en 70 årig bruker, bodde på Årøyholmen allerede 1663. Han hadde antageligen bodd på Årøyholmen hele sitt liv. I manntallet fra 1601 finns det en Henndrich Gundersen, den eneste Hennrich som finns med. Kan dette være far til Ole Hendriksen og derfor den første navngitte beboer vi kjenner til på Årøyholmen? Andre brukere som nevns samtidig er Niels Olsen og dennes sønn Ole Nielsen. Både disse navn finns i manntallet fra 1601, det sistnevnte 3 ganger.
I matrikkelen av 1723 er Årøyholmen omtalt i disse termer:
Aarøen er en omflødt, Berget og Stenet øe, som alt herunder er begreben. Derpaa er nogen faa Bircheschouv. Til Fiskeriet Kand dend være som de øvrige Pladser. Til høeauflingen er der liden slotte Eng, og derhos tungvunden. Kand føde derpå 1 Koe og 6 smaler, og ansettes for 0-0-18. Holger Danifær bruger.
Denne Holger Danifær er "kranglevoren". Danifær er et danskt navn. Han var fra Moen og sønn til Jacob Nielsen Danefer ( -1676) og Mette Holstein. 1732 finner vi at Rebekka Elisabeth Myhlenport (1671-1760) instevnet en viss Holger Danifær for tinget i Skjervøy fordi Holger hadde brukt Årøyholmen som gressteig i 41 år uten att ha betalt presten tiende for bruken. Senere heter det om Rebecka att hun døde fattig hos sin datter på Vannstuen. Holger Danifær har alltså brukt gressteigen på Årøy sedan 1691.