V rokoch 1820 – 1892 sídlil Imigračný úrad na juhu Manhattanu v prístave Castle Garden. Odtiaľ ho presťahovali na ostrov Ellis Island, kde v tieni Sochy Slobody postavili novú budovu z „Gruzínskej borovice“ a otvorený bol 1.1.1892. Tento ostrov sa premenil na malé mesto, v ktorom sa nachádzal nový Imigračný úrad, súd, škola, nemocnica, obchody a ubytovne. Večer 17. júna 1897 budova do základov vyhorela. Okamžite začali stavať novú „ohňovzdornú“ budovu otvorenú 17. decembra 1900 a v tento deň prijali 2 251 prisťahovalcov.
Cez tento ostrov prešlo medzi rokmi 1892 až 1954 do Ameriky viac ako dvanásť miliónov (uvádzasa aj 17 milionov) prisťahovalcov. V novembri 1954 bol Ellis Island oficiálne uzavretý. V r. 1965 vy-hlásili Ellis Island za súčasť Sochy slobody, ktorá bola postavená na susednom ostrove, za Národný pamätník. Po dôkladnej rekonštrukcii otvorili ostrov pre verejnosť a v budove Imigračného úradu zriadili múzeum „Ellis Island Immigration Museum“. Múzeum navštívi takmer 2 mióny záujemcov ročne.