Vorschlag:

Lese die 1.Datei in ein Array... Danach die 2. Datei in einen Hash lesen, wobei die Zahl als Key genommen wird und als Value nimmst Du einfach '1'.
Danach: Für jedes Element des Arrays teste, ob Element im Hash vorhanden ist. Wenn ja, dann lösche das Element aus dem Array...