En el foro hay bastantes hilos sobre máscaras, como este para empezar:
https://videoedicion.org/foro/index. ... ic=27833.0
Saludos.

Para hacer una máscara tienes que tener dos clips de video (o fotos), uno en la pista de arriba y otro en la de abajo, abres el Pan/Crop del clip superior y marcas la opción máscara(está debajo a la izquierda de la ventana emergente del Pan/Crop), después selecciona la herramienta pluma y vas seleccionando sobre el clip la zona a crear la máscara. Podrás ver los resultados en la ventana del prewier.

Esto es explicado a muy groso modo, en la web tienes unos manuales muy detallados de cómo hacer máscaras y muchas cosas más, están en Documentos/manuales y tutoriales/video/edición de video/ sony vegas.
Descargate el manual interactivo de Jorge Moron.

Saludos