赤色LEDが電源を落としても点灯したままになっています。

パソコンは電源の主電源を落とさない限り、パソコン内部に5V電流が流れます。
マザーボードやOSによってはUSBにも5V電流が流れる場合がありますので、赤色LEDが点灯したままになる場合があります。