Petit souci avec la connexion d'un tiers au serveur

Tout ce que tu dis oriente vers un problème coté client. Sans le moindre log de son coté, difficile d’avancer, on ne peux émettre que des hypothèses.
As tu essayer d’analyser le trafic réseau de ton coté lorsqu’il tente de se connecter ?
Ca permettra de voir ce qui arrive coté serveur, et ce qui en repart.

J’en reviens encore à mon idée de client (donc son IP) banni, je ne sais pas pour quelle raison.
Je t’avais demandé si tu emploies un parefeu avec iptables et, si oui, le résultat de

iptables-save

Là, nous verrions déjà si une IP est “DROPée”.
Je dis ça car j’ai eu un problème un peu semblable avec une connexion sftp impossible pour un client, alors qu’elle était possible pour les autres et tout ça en IP publique, je ne parle pas du LAN.
Tu n’as rien modifié dans sshd_config au niveau des permission avec ou sans pass ou avec clefs ?

EDIT : fail2ban ?
pour savoir s’il est installé :
$ apt-cache policy fail2ban