答えは、「NO」です。

雑所得は、雑所得扱いになる所得を全てひとまとめに合算しますが、
ある雑所得でマイナスが発生した場合にも他の雑所得と通算することができます。

例えば、ある年に原稿料を30万円受け取り、FXで20万円のマイナスが発生した人がいるとします。
（他に雑所得扱いになる所得は発生していないと仮定）
この人の場合は、

原稿料30万円−FX損失20万円＝10万円

が雑所得となります。

このように雑所得は他の雑所得と通算できるので、
仮にFXで損失が発生しても、他の雑所得と通算することで
課税所得を軽減する効果があるので、忘れずに申告することをおすすめします。