Le nom de l'île est issu d'une erreur de lecture. En 1696, le navigateur néerlandais Willem de Vlamingh a enregistré une masse terrestre envahie par ce qu'il a pris pour de gros rats, et a inscrit « Rottenest » — nid de rats — dans son journal. Les animaux étaient des quokkas, de petits marsupiaux que l'on ne trouve pratiquement nulle part ailleurs. Le peuple Whadjuk Noongar connaissait cet endroit depuis bien plus longtemps sous le nom de Wadjemup, signifiant « endroit de l'autre côté de l'eau », un nom qui reconnaît la montée des eaux qui a séparé l'île du continent il y a environ sept mille ans.
Cette séparation explique la plupart de ce qu'une visite guidée en bus de Rottnest Island permet de découvrir aujourd'hui. L'isolement a préservé un paysage que le continent a perdu : soixante-trois plages, vingt baies, des lacs hypersalés teintés de rose par les algues et des récifs calcaires qui ont fait naufragé plus d'une douzaine de navires. Cela a également produit une écologie sans renards ni chats, ce qui explique pourquoi la population de quokkas — estimée entre huit et douze mille individus — survit à une densité inégalée ailleurs en Australie.
L'histoire construite est plus lourde. Entre 1838 et 1931, l'île a fonctionné comme un établissement pénitentiaire pour les hommes et les garçons aborigènes de toute l'Australie-Occidentale ; environ quatre mille d'entre eux ont été emprisonnés au Quod, le bloc cellulaire octogonal qui se dresse toujours près de Thomson Bay, et au moins 373 y sont morts. Le site est désormais officiellement reconnu comme un lieu de sépulture, et l'interprétation lors des visites de l'île de Wadjemup a considérablement évolué pour refléter cela. Des couches ultérieures se superposent : la batterie d'Oliver Hill, achevée en 1937, possède toujours ses deux canons de 9,2 pouces et un réseau de tunnels ; les phares de Bathurst et de Wadjemup, construits respectivement en 1900 et 1896, marquent les deux extrêmes de navigation de l'île.
Sur le plan architectural, l'île se lit comme un registre condensé de l'Australie-Occidentale coloniale. Le village de Thomson Bay conserve des cottages en calcaire des années 1840, un magasin à foin, une maison de correction pour garçons et une résidence d'été du gouverneur, pour la plupart extraits de la pierre de l'île elle-même. Vlamingh Lookout, à 45 mètres, est le point culminant et offre la lecture la plus claire de la géographie : les lacs salés à l'ouest, le village à l'est, le continent formant une ligne grise basse au-delà.
Wadjemup a été déclarée réserve de classe A en 1917. Les voitures y sont effectivement interdites, ce qui explique pourquoi une visite en autocar de l'île — et le vélo — sont devenus les moyens pratiques de parcourir ses onze kilomètres de longueur. Une visite guidée en bus de Rottnest Island fait donc ce qu'un véhicule privé ne pourrait jamais faire ici : elle raconte le terrain tout en le traversant, reliant prison, batterie, phare et lac en une seule séquence.