La verdad es que lo recuerdo mucho de geometría, pero supondré que tu fórmula es correcta.

El matlab es bastante directo para meterle fórmulas.
Primero tendrías que definir los valores de a, b, c, y d. Por ejemplo:
a = 2;
b = 4;
c = 3;
d = 5;

Luego la fórmula para s es exactamente como la escribiste:

s=(a+b+c+d)/2;

finalmente el área sería:

area=sqrt((s-a)*(s-b)*(s-c)*(s-d));

Ahora, si te dan las coordenadas tendrías que calcular las longitudes a, b, c, y d primero. Por ejemplo, si las coordenadas para a son P1(x1,y1) y P2(x2,y2), la fórmula sería (por Pitágoras):

a = sqrt((x2-x1)^2+(y2-y1)^2);

Y así para las demás longitudes. Te recomiendo checar la ayuda de Matlab. Viene muy completa.

Cualquier cosa mándame un MP porque luego se me olvidará regresar al tema

EDIT:

Ya me diste una idea para crear un tema de ayuda