Você quer calcular a distância entre os dois pontos ou você quer fazer isso, tendo obrigatoriamente, o cálculo do MMC integrado? Se o objetivo do programa é só calcular a distância entre dois pontos, é muito fácil. Fiz o algorítmo que calcula a distância exata entre dois pontos. Para calcular a raiz, ela não precisa ser exata. Sua raiz pode estar dando errado porque você declarou as variáveis em tipo int. Use o tipo float e tente fazer. Estou começando agora a programar em Linguagem C, se não for isso que você quer exatamente, me fala que eu tento de novo.
