妈葛姆蕾·冈特终于得到了自己离家出走的姨甥的下落她找到了这所魔法学校，并在外面施了十分强大的诅咒，让伊索特和詹姆陷入沉睡葛姆蕾希望杀死他们，并拐走他们刚刚出生的双胞胎女儿但葛姆蕾不知道的是，伊索特和詹姆还有两个养子，所以他们并没有被催眠当她用蛇佬腔发射符咒、让伊索特的魔杖失去作用的时候，布特兄弟的长角水蛇角魔杖也检测到了这个魔法，并向他们的主人发出警报查威克跑出城堡阻止葛姆蕾接近自己的父母，而韦伯则去给自己的养父母发出警告不过，伊索特和詹姆一直没有被唤醒韦伯因此决定奔到楼下加入战斗由于布特兄弟的杖芯采用了相同的物质，因此他们在共同对付敌人时，魔力可以增加十倍这种情况让葛姆蕾觉得更加棘手不过，她的黑魔法仍然足以与他们匹敌葛姆蕾告诉兄弟两人，如果他们能证明自己血统纯正，就放他们一条生路，但布特兄弟坚决要阻止她接近自己的家人伊索特和詹姆睡在楼上的双胞胎女儿被外面的战斗吵醒，因为恐惧而放声尖叫这个声音终于破解了伊索特和詹姆身上的魔咒，让他们从沉睡中醒来詹姆赶去保护自己的女儿，而伊索特则试图冲到下面帮助自己的养子不过，她手中斯莱特林的魔杖已经起不到任何作用在决斗中，他们渐渐退进屋内，来到卧室的门前就在葛姆蕾轰开房门，准备杀死他们的时候，绝望的伊索特喊出了自己已故父亲威廉的名字这时，伊索特的朋友、普克奇威廉突然出现，用毒箭射穿了葛姆蕾的心脏从这以后，威廉和他的家人就搬进了学校，成为学校的私人保卫兼秩序维护者
随着学校的不断发展，花岗岩小屋已经变成了城堡随着学生人数增加，更多教师也被招募进来美洲各地的男女巫师将自己的子女送往伊尔弗莫尼就读，而伊尔弗莫尼也变成了一所寄宿制学校和其他的魔法学校一样，伊尔弗莫尼也将自己的校址隐藏起来，防止被麻鸡看到
18世纪的时候，曾在伊尔弗莫尼魔法学校上学的多卡斯·十二树向一个名叫巴托罗缪·巴瑞波恩的麻鸡透露了包括学校所在地在内的许多与魔法世界有关的信息不过，巴托罗缪实际上是个肃清者的后代，他将自己从多卡斯那里听来的所有消息全都在麻鸡世界中公之于众这使得《国际保密法》被严重违反，美国也因此通过了《拉帕波特法律》，将麻鸡和巫师社会严格分离
在伊尔弗莫尼魔法学校的一年级新生第一次来到学校之后，他们会被分入不同的学院之后，他们会被带进一个巨大的厅堂，并在那里选择自己的魔杖（或者说，由魔杖挑选主人）在拉帕波特法律被废除之前，未满17岁的学生不能将魔杖带出学校