localhost接続時一度応答無しになってからしばらくして接続されます

[yuuuuu]

サーバーを立てて運用してるのですが、自分のサーバーに接続した時だけ異様に接続までの時間が長いです。
チャットログにロビーまで入ったのは表示されるのですが、そっから応答なしになり１分ぐらいしてからやっとconnectedと流れます。
他のチャンネルに移動するのには異常もなく普通に行き来できるのですが、チャンネルのチャットのタブを押すとまた応答なしになりしばらくしてから反応する始末です。
クライアントのインストールのし直し、サーバーのアップデートやSqlite3を使って最適化を試しましたが効果はありませんでした。
他のIPやドメインから接続してる外部接続者は特に問題がなく自分だけそうなります。
クライアントのせいなのかと思いましたが、他のサーバーに入った時はそんなことないためよくわからない状態です。
解決策いただけると幸いです。