Castelul Bannerman este situat pe o insulă mică şi stâncoasă numită Pollepel, la aproximativ 50 de mile de New York și la doar o mie de metri de țărmul estic al râului Hudson. Insula se intinde pe 6.5 hectare iar numele „pollepel” vine din olandeză şi înseamnă „lemn”.
Francis Bannerman, născut în Dundee, Scoția în anul 1851 a emigrat în Statele Unite la vârsta de trei ani. În timp ce trăia în New York, Francis a început să colecteze și să vândă resturi găsite în port. În 1865, la vârsta de 14 ani, Francis și-a înființat propria companie pentru a vinde bunuri militare.
Afacerea lui, numită „Bannerman’s” a trecut de la vânzarea de fier vechi și muniții, până la nave pline pe care Francis le cumpăra la licitații. Unele mărfuri notabile vândute de Bannerman au inclus tunuri din bătălia de la Yorktown, uniforme de război civil și relicve din expediția amiralului Robert Edwin Perry în Cercul Arctic.
Se estimează că aproape jumatate din tunurile comemorative plasate în diverse zone publice din Statele Unite au fost achiziționate prin firma „Bannerman’s”. Acesta a cumpărat 90% din surplusul echipamentelor armatei americane dupa războiul spaniol-american sau diverse obiecte din nava scufundata, USS Maine. Deoarece nu mai avea loc de depozitare, Bannerman împreuna cu fiul său David, au cumparat Insula Pollepel în noiembrie 1900.
Desenele de pe clădiri au fost elaborate de Bannerman însuși iar aproape toată construcția a fost finalizată fără ajutorul profesional al arhitecților sau inginerilor. Deși majoritatea clădirilor au fost folosite ca spaţiu de depozitare pentru afacere, castelul a fost construit drept casa de vară pentru familie.
La puţin timp după terminarea construcţiei, necazurile au început să apară în lanţ. În anul 1918 a murit Bannerman, doi ani mai târziu din cauza unei explozii, o parte din castel a fost distrusă, iar în 1950 a fost scufundat feribotul insulei. In 1957 proprietatea a fost abandonată iar în 1969 a avut loc un incendiu devastator de trei zile care a distrus o mare parte din insulă. In aprilie 2015, Vincent Viafore a fost ucis de logodnica sa, Angelika Graswald în timp ce se plimbau pe râul Hudson, în apropiere de castel.
Încă de la începutul anilor 1990 se încearcă restaurarea imaginii Castelului Bannerman și conservarea insulei astfel încât publicul să-l poată aprecia pentru valoarea culturală și istorică. În prezent, castelul este proprietatea Biroului de Stat pentru Parcuri, Recreere și Conservare Istorică din New York.
Castelul Bannerman a apărut în diverse opere literare precum Seria „Kiki Strike” a autoarei Kirsten Miller, în jurnalul de călătorie al lui William Least Heat-Moon, în prima carte din seria „Memoriile unui vampir” de Morgan Rice dar și în filmul „Impotriva curentului” din 2009 cu actorul Joseph Fiennes în rolul principal.