どうしても間違える文章問題

どんなにイケメンでないと言われていても数学の質問をされて答えられる人のカッコよさは、どんなイケメンの器量をも（それが若かりし頃の草刈正雄であったとしても）凌駕すると信じて疑わない私は、日々ヒマをみつけては『はやくかしこくなりたい』と中一数学の問題集を１ページずつ進めているのですけど『あー。また間違った！んもー』という問題が一問あります。

室内の気温が20℃、室外の気温が−3℃のとき、室内の気温は屋外の気温より何度高いですか。

これを『＋17℃』と答えてしまうのですよ。ホントは20-(-3)=20+3=23で『＋23℃』が正解です。きっとどころか私以外の人は解ってて当然なのですよね・・・。
えー。20-3=17じゃないのですか？正直なんで”−（−３）”てマイナスにしなきゃいけないのか解らん。情けない。泣ける。ここで引っかかってて私は娘の質問に将来答えられるのでしょうか。数学得意になりたい。服作りって型紙作る時に計算を要するから、得意でないといけない気は昔からしています。していました。ああもう。