En ce qui me concerne c'est de la pudeur et la crainte d'être vulnérable.
Dire je t'aime à quelqu'un, c'est lui donner le pouvoir de nous faire mal.
En terme mbti, les Fi intériorisent leurs sentiments et les gardent pour eux, on'est moins démonstratifs que les Fe, même si il n'est pas rare qu'on se force à l'être avec notre entourage, mais en réalité naturellement on garde tout pour nous.
Je n'ai par contre pas de mal avec les démonstrations affectives physiques, mais uniquement avec mes proches. J'aime faire des câlins, par contre j'aurais du mal à dire je t'aime.
Je pense qu'il y a également de la timidité, la crainte que ce ne soit pas réciproque.