仕事の事で周りから追い詰められています…

私の仕事は営業の管理職になるのですが、営業には主に法人営業と個人宅訪問営業の二種類があって
私は個人宅訪問をメインとする課の管理をしています
しかしながら女性.は一人で個人宅には訪問してはいけない為（一人な為襲われる危険がある）訪問営業はせず
主に管理や営業サポート業務に一生懸命取り組んでいます

しかしながら、最近この私の訪問営業を行わない姿勢に「女だからと言って外に出ないとは何事か」
「他の営業の女性.は訪問営業もやっている（実際はルール違反な様ですが、特に若手などはそうは言っていられない様で、
上司の方針もあり実質許可されてしまっている様です…）のにどうして私さんはやらないんだ？」
「自分の仕事には熱心だけど知識は無く管理も出来ていないので（この点は疑問ですが…）我々の負担になっている」
という意見が主に男社員から出てしまっています

今まで薄々気が付きながらも上司の理解もあり騙し騙しやっていたのですが、現場からの反発の声がとうとう噂という形となって
私の耳にまで入ってしまいました…噂を教えてくれた同僚も、正直な所「あなたに対し思う所はある」そうです…

今の仕事は好きですし待遇も良く、辞めたくはありませんが、私が営業として売上の利益は上げていないのが批判される理由なのですが
営業が事実上出来てない以上改善する事が困難です
私はルールを破ってでも、恐怖に震えながらでも訪問営業をしなければいけないのでしょうか？
同様に社会で働き、悩まれているキャリアウーマンの方などがおられましたら、アドバイスお願いします