Да, примеров вымирания фамилий, невзирая на обилие мужчин, хватает – например Капетинги (основная ветвь) в 14 в. или Валуа в 16-м. Или московские великие князья в том же 16-м: вспомним, что у Ивана Третьего были и взрослые братья, и кузены, и несколько взрослых сыновей – а к исходу столетия от всех них не осталось никакого мужского потомства. Ну, тут, положим, помешали обстоятельства – все эти люди занимались высокорисковой деятельностью (политической). А семьи не столь высокопоставленные?
Тут поди разберись, потому что у них не бывает полных генеалогий такой глубины. Эмпирическая проверка может быть только весьма ограниченной. Если считать моего предка, первого известного мне носителя фамилии, родившегося при царевне Софье, первым поколением, то в 8-м поколении, в конце 19-начале 20 века, у него уже было около сотни потомков мужского пола, носивших фамилию Верещагин (лень считать точно, но в правильности общей оценки я уверен). Правда, из них добрая треть умерла в детстве, так что останется порядка 60, потенциально способных дать потомство. Грубо говоря, это значит, что в каждом поколении численность мужских носителей фамилии удваивалась (но в действительности это не совсем так, потому что наиболее многочисленными были поколения 6,7 и 8 – там численность утраивалась и учетверялась). Можно ли экстраполировать такие средние темпы (удвоение) на 30 поколений – это вопрос. Если да, то и 10 тысяч были бы пустячной цифрой, счет пошел бы на миллионы. Но, конечно, это кажется слишком смелым предположением.
С другой стороны, какие-то особенно удачливые в этом отношении индивиды должны были быть. Существование как минимум одного такого индивида нужно допустить чисто логически, потому что все наши цепочки предков на какой-то очень большой глубине должны сомкнуться, то есть у нас есть один общий ближайший к нам патрилинейный предок, чьими потомками мы все являемся и чью фамилию должны бы носить (условно говоря, мы все «Адамовы»). Генетика подтверждает существование такого лица https://en.wikipedia.org/w/index.php?title=Y-chromosomal_Adam&oldid=790576990 Вот этот везунчик (который в реальности мог быть и существом глубоко несчастным – кто знает) наверняка имел через 30 поколений не менее 10 тысяч потомков по мужской линии.
Собственно, рюриковичи в целом, да и гедиминовичи, являются тоже подходящим примером. Конечно, их общая численность вряд ли поддается подсчету, да и в отдельных звеньях там много неясного или спорного (я, например, с удивлением обнаружил, что совершенно невозможно установить, кто является генеалогически старшим рюриковичем в настоящее время), но впечатление такое, что в началу 20 века их были тысячи и тысячи, просто эти большие роды раздробились на многие отдельные фамилии.
Но отчего зависит такое аномальное размножение определенных родов? Скорее всего, поначалу от счастливых случайностей, позволивших размножиться до какого-то критически важного уровня – а дальше разные ветви большого рода начинали жить каждая своей собственной жизнью и общая их численность постепенно росла вместе со всем человечеством.