Ilvermorny wurde im 17. Jahrhundert von Isolt geb. Sayre und James Steward auf dem höchsten Gipfel des Greylock Berges gegründet. Zuerst war es ihnen nur ein Zuhause in dem sie ihre Adoptivsöhne unterrichten, bis es sich schließlich zu dem heute bekannten Internat ausweitete. Die Schule ist durch viele Zauber geschützt und ein Nebelkranz verbirgt das Schloss vor den neugierigen Blicken der No-Majs.
Ilvermorny hat den Ruf eine der elitären und demokratischten Zauberschulen zu sein, was dem Umstand zugeschrieben wurde das James Steward ein nicht magischer war.

Die Häuser in Ilvermorny sind Thunderbird, Horned Serpent, Wampus und Pukwudgie. Wie genau die Häuser ihre Schüler auswählen ist nicht genau bekannt. Bei einigen heißt es das die Häuser den Menschen darstellen. Der Verstand wird durch die Horned Serpent repräsentiert; der Körper, Wampus; das Herz, Pukwudgie und die Seele, Thunderbird. Andere sagen, dass die Horned Serpent Gelehrte, Wampus, Krieger, Pukwudgie, Heiler und Thunderbird, Abenteurer bevorzugt.

Die Auswahl in Ilvermorny unterscheidet sich von der Auswahl in Hogwarts. Der Schüler stellt sich auf den Gordischen Knoten, der in der Eingangshalle zu finden ist und eines oder mehrere der Geschnitzen Wappen zeigen, an das sie an dem Schüler interessiert sind. Der Kristall vom Horned Serpent leuchtet, der Wampus brüllt, der Thunderbird schlägt mit den Flügeln und der Pukwudgie verschießt einen Pfeil.

Nach dieser Zeremonie bekommen die Schüler ihre Zauberstäbe. Es ist amerikanischen Zauberschülern nicht erlaubt vor ihrem Ilvermornybesuch einen Zauberstab zu besitzen, Ilvermornyschüler müssen ihren Zauberstab bis zu ihrem 17. Lebensjahr auch über die Ferien in Ilvermorny lassen.