STARTTLSが有効であるかどうか調べるにはコンソールから
続けて ehlo smtp とタイプします。以下の様に表示されればSTARTTLSは有効になっています。必要な証明書さえあれば利用可能です。
このように表示されればSTARTTLSは応答しており、通信可能な状態です。上記の例ではLOGIN,PLAINが有効になっていないので、Outlookでは認証が行えません。OutlookにSMTP認証を認める場合はLOGIN、すなわち平文を許可しなくてはならず、sendmail.mcを修正し、新たにsendmail.cfを作り直す作業が必要です。SMTP AUTHに関する修正個所についてはこちらで解説しています。
試しにクライアントから接続してみます。Outlookで接続すると認証に関してメッセージがでると思います。答えるとメールが送信されます。セキュア メールサーバーの章で既にSMTP AUTHを導入していたので、SASLユーザーとパスワードでSSLで保護されたSMTP認証が可能になります。Netscapeに関してはPLAIN認証になりますが、SASL自信がPLAINに対応しているのでSendmail.mcでPLAINを追加しなくても通信が出来てしまいます。
外部クライアントにSSLで保護されたSMTP認証を許可する場合、クライアントがOutlookの設定でSSLのチェックをいれなかった場合、 LOGIN平文認証でのSMTPの利用も認めてしまうことになります。
SSLを使うか使わないかはユーザー次第ということになり、誤ってSMTP認証が平文でネットワークを流れるという危険性をはらんでいます。特に外部から SMTP 認証を認める場合は暗号化による保護は必須であるため、SMTP Over SSL が利用可能なメーラーへの以降も検討した方が良いと思います。