Эти вспоминаемые события произошли до "внедрения" крестража.
Теперь Гарри понимал, что он вспомнил почти всю ту сцену с точки зрения Лорда Волдеморта и лишь самый конец видел глазами маленького Гарри Поттера.Похоже, взгляд Волдеморта – последнее и единственное воспоминание, которое осталось от "прежнего" Гарри. Как объяснил сам Волдеморт, инцидент с палочкой и дементором понадобился ему, чтобы Гарри мог "восстановить часть истинной памяти" (сказано на парселтанге). Очевидно, он подразумевал память крестража.
Но можно хотя бы Википедию почитать
А еще в ней написано, что "сознание «Я»" появляется "примерно с трех лет". Слово "примерно" говорит об отсутствии единой точки зрения по данному вопросу.
Если немного погуглить, то можно узнать, например, об эксперименте Льюиса и Брукс-Гана, проведенного в 1979 году, который "указывает на то, что самосознание начинает появляться у детей в возрасте около 18 месяцев". (Кстати, критерием самосознания служила способность узнавать себя в зеркале.)
Подтверждение: на него не действует проклятие Риддла
Сам Волдеморт логично объясняет это тем, что проклятие "не подействовало на младенца, который потерял собственную личность". А раз нет личности, то нет и субъекта, на которого проклятие могло быть направлено.