Jacob II wordt geboren op 3 juli 1455 op het kasteel van Horn. Hij is de derde zoon van Jacob 1, dus niet de eerste die in aanmerking komt voor de opvolging, maar zijn twee oudere broers sterven jong. Op zijn vijfde jaar wordt hij al uitgehuwelijkt aan Filippine van Württemberg, met wie hij in 1470 trouwt. Zij sterft in 1475 kinderloos.
Als hij zijn vader opvolgt, is hij nog geen zeventien jaar oud. Hij gaat tijdens de eerste jaren van zijn heerschappij vaak te rade bij zijn oom Vincent van Meurs en Engelbert van Nassau, een van de stichters van de universiteit van Leuven, eveneens een verwant. In 1477 trouwt hij met de rijke Johanna van Gruuthuuse uit Brugge, die in 1502 te Mechelen overlijdt. Het paar krijgt vier kinderen:
- Jacob III.
- Margaretha, die in 1492 wordt uitgehuwelijkt aan Everhard van der Marck, graaf van Arenberg.
- Amelia, priorin van het klooster van de Augustinessen te Weert.
- Jan, in 1498 door zijn oom Jan van Horne benoemd tot kanunnik in Luik. In 1504 wordt hij proost van het Sint-Lambertuskapittel in Luik en in 1532 heer van Weert.
Graaf Jacob II bezit ook een stadskasteel in Eindhoven. Dit kasteel werd gebouwd door Jan van Schoonvorst, hij was in 1420 heer van Eindhoven. Hij bouwde binnen de stadsmuren een nieuw kasteel, op de hoek van de (huidige) Ten Hagestraat en Vestdijk, en gaf het terrein van zijn oude kasteel, dat vermoedelijk al uit de 12e eeuw stamt, aan de kloosterorde van de Augustijnen. Ook nu bevindt zich op deze plek nog altijd het klooster Mariënhage. Het eerste directe bewijs van het bestaan van dit kasteel is pas te vinden in een oorkonde van 1482, toen Jacob II van Horne heer van Eindhoven was. Toen hij in geldnood zat, gaf hij het kasteel in onderpand aan Gerrit van Brede, die bovendien ook nog schout van Eindhoven en Woensel werd. Later wordt het kasteel eigendom van Anna van Egmont die gehuwd was met prins Willem van Oranje.