交通事故による損害の賠償については、まず示談交渉が行われるのが通常ですが、示談交渉がまとまらない場合には、調停が利用されることもあります。
この調停は、裁判所で、加害者と被害者の間に調停委員が入って話し合いをまとめる手続きですが、被害者・加害者の両方が申し立て得るものですので、ご質問のように加害者から申し立てられることもあります。
調停とは、このように話し合いの手続きで、訴訟のように裁判所によって強制的な解決がされるものではありません。
ですので、相手方の提案に応じたくないのであれば、無理に合意する必要はありません。合意に至ることができなかった場合には、調停が不成立となるだけです。そうなれば、通常は訴訟によって解決が図られることになります。
なお、調停については、理由なく出頭しない場合には、5万円の過料が科せられる場合があり得ます。実際には、この制裁が行われることはほとんどないようですが、不出頭の場合には正当な理由があることを裁判所に連絡する方が良いといえます。
このように、ご質問の場合、無理に合意して調停を成立させる必要は全くありません。
場合によっては、こちらから訴訟を提起することも検討対象になりますので、弁護士に相談の上方針を検討されるのがよろしいでしょう。