リモートデスクトップでマウスやキーボードの反応が悪い時は、接続先のディスプレイのスリープを解除させれば改善するかも知れません。 (もしからしたクライアントがLinuxの場合だけかも知れませんが…)
接続先がノートPCの場合はディスプレイのスリープをさせずに蓋を開けておくと良いです。 少なくともLenovo T490Tでは効果があります。
最初は「本当かよ?」って思っていましたが、リモートデスクトップの反応が全く違います。
背景
我が家は在宅勤務で自宅に持って帰ってきた会社PCに自宅のLinuxマシンからリモートデスクトップ接続しています。
最近、会社PCを起動直後は問題ないのに、しばらくするとキーボードやマウスの反応が遅くてイライラしていました。自宅内のネットワークなのに。 一方でもともとある自宅のWindows10マシンからはストレスなくリモートデスクトップ接続できるのです。
ケーブルや、ハブ、ルーターを交換してみましたが(Aterm WG2600HSでハマる)、効果はなく、もう会社PCの問題だと特定できそうなところまできました。
Remote desktop develops mouse/keyboard lag after some duration によればSurface ProにつないだPCでも似たような現象があるようで、ディスプレイがスリープするとキーボードの応答がひっかかるようになると書いてあります。