¿Soluciones? Varias.

De todas formas yo opte por la mas sencilla -aunque menos drástica, deshabilitar la opción escribir ficheros de backup, que no guardar una copia temporal  mientras editamos.

Extracto de la documentación de Vim

If you write to an existing file (but do not append) while the ‘backup’,
‘writebackup’ or ‘patchmode’ option is on, a backup of the original file is
made. The file is either copied or renamed (see ‘backupcopy’). After the
file has been successfully written and when the ‘writebackup’ option is on and
the ‘backup’ option is off, the backup file is deleted. When the ‘patchmode’
option is on the backup file may be renamed.

*backup-table*
‘backup’  ’writebackup’    action
off                off                no backup made
off                on                backup current file, deleted afterwards
on                off                delete old backup, backup current file
on                on                delete old backup, backup current file

Es decir, en mi .vimrc tengo las siguientes lineas

set nobackup

set writebackup

Con ello, y atendiendo a la anterior tabla, se creara un fichero *.swp mientras editamos y este sera borrado al finalizar.Lo cual por lo menos para mi, es suficiente.

Existen otras soluciones, como crear directorios donde almacenar estos ficheros,… comentadas aquí