Законов Менделя вполне достаточно.
Обозначим "магический" аллель гена "a", "магловский" - "A".
Примем, что "a" - рецессивный, то есть, проявляется в фенотипе (делает носителя магом) только при сочетании "aa", но не "Аа", не "аА" и уж разумеется, не "AA".
Таким образом, в семье магов должны рождаться только маги (aa+aa={4/4*aa}), а то, что Роулинг утверждает, что иногда в семьях магов рождаются и сквибы, легко объясняется адюльтером.
В смешанной семье могут рождаться как маги, так и сквибы, поскольку не-магический родитель вполне может быть носителем рецессивного магического гена: ?A+aa={2/4*aA + 2/4*?a}
Маги могут рождаться и в семьях сквибов, и даже в семьях маглов (?A+?A={1/4*AA+2/4*?A+1/4*??}), вот только детей маглов же никто не проверяет на скрытые магические способности, а без палочки и без обучения много не намагичишь. Другое дело, если где-то среди предков затесались маги: в этом случае, скорее всего, проверят и - вуаля! - маг Гермиона найдена и приглашена в Хогвартс.