Родом из Минервино-Мурдже, где живут примерно десять тысяч человек. В 7 лет занимался в балетной школе, желая стать танцором. Ушел, потому что был единственным мальчиком в группе, но страсть осталась: «Часто думаю о финтах, вспоминая танцевальные шаги – это уже стало естественным для меня». Так сильным качеством Кастровилли стал именно дриблинг. А начинал он в «Бари», страстным фанатом которого был его дедушка, записавший его в футбольную школу. В «Бари» Кастровилли дебютировал уже после смерти деда.