流れを切ってすみません。

初カキコです。

結婚5年目です。

話しているときの癖で、つい「ごめんね」とか「すいません」とか言ってしまうのですが、
それが相手をイラつかせているみたいです。
相手曰く、
「謝ってほしくないときに言われるのは困るし、どうしてほしいの？」
「謝るのは自分を悪くないって思いたくないだけで本心じゃない。謝っている自分を正当化したいだけでしょ？
　そんな小さいプライド捨てたら？」
というようなことを言われます。

離婚を切り出したこともありますが、「俺が離婚したくない。子供はお前との子供がほしい。離婚はお前の逃げだ。」と言われ、
最近では、「おまえは俺の機嫌を取るためだけに生きていればいい」といわれました。

こちらも機嫌をとるよう頑張っているのですが。
クイズ番組を一緒に見ているとき、つい答えを先に行ってしまい、こんなの知ってるよ的なことを言ってしまったのですが、
「お前は自分が知っていることが世間のあたりまえと思っているわけ？
知らないで当然だよ、そんなこと。なんで上から目線で話してるの？気分が悪いからその癖なおして。」
と注意されました。

そういわれてしまって、私が落ちこんでしまったら、
「なに一人反省会してるの？はやく気持持ち直したら？」と言われました。

気持ちの整理がすぐにつかないことは伝えたのですが、「それはおまえの努力が足りないから。
俺はすぐに整理して対応してるよ？雰囲気を悪くしないように努力したら？」と言われていまいました。


子供は、私不妊でおらず、お互い欲しいので治療中なのですが、
月々の支払額を確認し、なんでこんなにかかってるの？と言われ続けています。


私としては、不妊の私ではなく、もっと幸せになれる相手と一緒になってほしいと思っています。
離婚を切り出しても、相手を納得させるだけの言葉をだせません。
私は相手のことが大好きですが、私のことで相手をイラつかせてしまうのが申し訳ないです。
もうどうしたらいいのだろう。


年齢は
私：36歳
相手：33歳
です。