yo tampoco entiendo muy bien lo que dices, pero por si es lo que creo me arriesgo.. te refieres que al dibujar una imagen cuadrangular con los bordes redondeados, éstos te salen dentados???
Si es eso, mira, cuando en el menú flotante "Herramientas" elijes la herramienta "rectángulo redondeado", en sus propiedades debes marcar la casilla "suavizado"
es eso?