Dein log2 läuft außerhalb des Scope von bigint. Da macht Perl per Überladen zwar Integer-Operationen wie mit bigint, aber log(2) ist eine Gleitkommazahl. Jede Operation mit einem Bigint und einer Gleitkommazahl außerhalb des Scope von bigint liefert NaN.

Ohne bigint wird 2[*]256 als Gleitkomma-Operation ausgeführt. log2 bekommt also zwei Gleitkommazahlen zur Division, und das funktioniert. Außerhalb des Bereichs von bigint ist auch der Wert von log2 2**256+1 gleich 256.

Anders mit bignum, aber ich sehe grade, das hat Daxim schon geschrieben.