Ο Fidel Alejandro Castro Ruz, όπως ήταν το πραγματικό του όνομα, γεννήθηκε το 1926 στο Biran και ήταν νόθος γιoς ενός πλούσιου γαιoκτήμονα.
Μητέρα του ήταν μια υπηρέτρια στο κτήμα, η οποία είχε σχέση με τον πατέρα του Don Angel. Για να αποφύγει το σκάνδαλο, η οικογένεια έσπευσε να κρύψει το μπάσταρδο και το έστειλε στους ιησουίτες του νησιού.
Ο Φιντέλ Κάστρο ήταν ένα παιδί «παράνομο» και αποδιωγμένο από την οικογένεια. Ιστορικοί εκτιμούν ότι ο μετέπειτα ηγέτης της Κούβας διατήρησε ένα βαθύ τραύμα σε όλη του τη ζωή και εξηγούν με αυτό τον τρόπο τη λυσσαλέα προσπάθειά του να φθάσει στα ψηλότερα σκαλιά της εξουσίας. Ο ιστορικός Serge Raffy το εξηγεί στο άρθρο του «Ο μύθος είναι γυμνός» στο περιοδικό Nouvel Observateur. Αυτή η πληγή, εκτιμά, βαθιά κρυμμένη στην παιδική ηλικία του πολιτικού ηγέτη, δεν μπόρεσε ποτέ να κλείσει.
Το 1942 ο Φιντέλ Κάστρο μπήκε στο λύκειο του Belén, στην Αβάνα, όπου διακρίνεται αμέσως για τις νοητικές και αθλητικές του δυνατότητες. Ο νεαρός Κάστρο αναζητά απελπισμένα τη διάκριση. Πήρε το bachielerato το 1945 και ξεκίνησε τη Νομική Σχολή στην Αβάνα.
Η οικογένειά του είχε επτά παιδιά και ο Φιντέλ είναι το τρίτο νόθο παιδί της παράνομης σχέσης του βαθύπλουτου γαιοκτήμονα Angel Castro και της υπηρέτριας Lina Ruz Gonzalés. Οταν ξεκίνησε η παράνομη σχέση, ο Don Angel ήταν ήδη παντρεμένος και είχε πέντε παιδιά. Οταν ξέσπασε το σκάνδαλο, ο Φιντέλ, ο αδελφός του, η αδελφή του και η μητέρα του εκδιώχθηκαν από το οικογενειακό σπίτι και δεν είχαν πια δικαίωμα να φέρουν το όνομα του αφεντικού.
Εξαιτίας του στίγματος στην κοινωνία, ο Φιντέλ πήρε το όνομα της μητέρας του, Ruz, και όχι του πατέρα του. Ηταν μπάσταρδος, στίγμα χειρότερο και από αυτό του χωρικού. Ο Φιντέλ μεγάλωσε κάνοντας παρέα με τους εργάτες στη φάρμα του πατέρα του, οικονομικούς μετανάστες από την Αϊτή, προερχόμενους από την Αφρική.
Αργότερα, ο ίδιος ο Φιντέλ Κάστρο διηγήθηκε ότι αυτή η εμπειρία τον εμπόδισε «να απορροφήσει την μπουρζουάδικη κουλτούρα σε νεαρή ηλικία». Οταν εκδιώχθηκαν από τη φάρμα πήγαν οικογενειακώς στο Σαντιάγκο της Κούβας, έζησαν φτωχά. Ο Φιντέλ βαπτίστηκε με την επισήμανση «από άγνωστο πατέρα», τον Ιανουάριο του 1935. Ο πλούσιος πατέρας του τον αναγνώρισε και του έδωσε το όνομα Κάστρο οκτώ χρόνια αργότερα, το 1943.
Δύο χρόνια πριν πάρει το πτυχίο του της Νομικής, ο Φιντέλ Κάστρο παντρεύτηκε μια βαθύπλουτη Κουβανή, την Mirta-Diaz Balart, με την οποία απέκτησε τον μοναδικό νόμιμο γιο του, τον Fidelito.
Αδιαφορεί, ωστόσο, για την οικογενειακή ζωή και το ζευγάρι οδηγείται σε διαζύγιο. Η επιμέλεια του παιδιού πήγε στη μητέρα του, πράγμα που οδηγεί τον Φιντέλ Κάστρο να απαγάγει το παιδί. Η μητέρα διοργανώνει μια απαγωγή με τη σειρά της, το 1956.
Ο Κάστρο, αιώνια ερωτευμένος με τις γυναίκες, πέρασε τη ζωή του με κατακτήσεις, ερωμένες, νόθα παιδιά.