Notice, that scalar product of two normalized vectors can be more than 1 on the module.

Заметьте, что скалярное произведение двух нормализованных векторов по модулю может быть больше 1.

Good luck!

omg! i've read my first message and have terrified!
some new hint: it's the problem with precision =)