Na realidade isso depende da linguagem, internamente o PHP não é mais uma linguagem interpretada e sim compilada, atualmente o interpretador lê todo o conteúdo do arquivo, não havendo erros fatais (de sintaxe), ele compila o código e ai sim ele é executado, mas isto é no caso específico do PHP. Com certeza JSP, .NET e etc não trabalham exatamente desta maneira.