Lo más sencillo es con expresiones regulares
Código PHP:
$valor = $_POST['campo_textarea'];
if (preg_match('#[^0-9,-]#',$valor))
echo 'Caracteres no permitidos';
Esto por el lado del servidor claro. Quizás te interese implementarlo también por el lado del cliente, como te comentan, en javascript.