Jump to content
Fórum Script Brasil
  • 0

(Resolvido) Scrap Webpage com Delphi- Otimização?


Mario Lopes
 Share

Question

Viva

Graças a este fórum (Jhonas) consegui fazer scrap a uma página web. Deixo o código de seguida porque pode ser útil para alguém. A minha questão é se esta forma de scrap pode ser otimizada porque para ficheiros web com muitas linhas de código (na ordem dos 2000) este processo é um pouco lento. O que este programa faz  é ler linha a linha o ficheiro web e procurar a correspondência. Há alguma otimização possível?

Obrigado

Mario

procedure Tfrmscrapalternativos.Button1Click(Sender: TObject);
var
total:integer;
lReader: TStringReader;
linha,procura:string;
begin
   lHTTP := TIdHTTP.Create(nil);
   lHTTP.Request.UserAgent :='Mozilla/5.0 (Windows NT 6.1; WOW64; rv:12.0) Gecko/20100101 Firefox/12.0';
zquery1.First;
total:=zquery1.RecordCount;
for j := 1 to total do
begin
   lReader := TStringReader.Create(lHTTP.Get(zquery1.FieldByName('link1').AsString));
   procura:='#CC0000;">';
   repeat
     linha := lReader.ReadLine;
      if AnsiContainsStr(linha,procura) then
      begin
               //faz a as tarefas
           break;
      end;
   until lReader = Nil;
   zquery1.Next;
  end;
   showmessage('terminei');
end;

 

Edited by Mario Lopes
Link to comment
Share on other sites

2 answers to this question

Recommended Posts

  • 0

O que este programa faz  é ler linha a linha o ficheiro web e procurar a correspondência. Há alguma otimização possível?

ao invés de criar um  TStringReader para cada linha do ficheiro web,  apenas leia a linha ( lHTTP.Get ) e depois compare com o campo ( Link1 ) da tabela, usando a função POS

      if pos(linha,procura) > 0 then

abraço
 

 

Link to comment
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Answer this question...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

 Share



  • Forum Statistics

    • Total Topics
      149.9k
    • Total Posts
      646.8k
×
×
  • Create New...