近年のLaTeX環境においては出力はほぼPDF一択になったため，dviを保存しておく意味はほとんどなくなっているのではないかと思います。

YaTeXを使っている場合に，YaTeXでタイプセットした瞬間についでに .dvi と .log を削除してしまう設定が無いか調べてみたのですが，そういう機能そのものは無いかも知れません（調べが足りないだけかも）。

そこで以下のように現在はしてみています。

まず .emacs （や .emacs.el 等）に以下のように書いておき，

(setq YaTeX-dvipdf-command "~/bin/mydvipdfmx.sh")

さらに，$HOME/bin/mydvipdfmx.sh として以下のようなシェルスクリプトを置きます。

#!/bin/sh

dvipdfmx $1
rm ${1%dvi}.log
rm $1.dvi

echo "DELETED:" "${1%dvi}.log" "$1.dvi"

これで，YaTeXから C-c t d すると，PDF生成と同時に .dvi と .log は削除されます。
自分では latexmk よりもこんな感じの方がしっくりきます。