Olá pessoal. Estou trabalhando em uma aplicação de contar palavras de um arquivo que está no disco, e utiliza a estratégia do produtor/consumidor e double buffer, utilizando um thread para fazer o trabalho do produtor e outro thread para fazer o trabalho do consumidor.
No geral o produtor é mais lento que o consumidor, já que ele lê os dados disco e os armazena em uma matriz, e já que os dados estão em memoria o consumidor é mais rápido em validar cada palavra, e disponibilizar a posição da matriz novamente para o produtor colocar outra palavra ali.
Com a idéia de fazer o produtor trabalhar mais rápido, resolvi utilizar mmap, que mapea meu arquivo em uma região de memória. Até ai tudo lindo, funciona muito bem, diminui em 20% o tempo da minha aplicação para inputs grandes.
Porém analizando a aplicação comecei a rever a estratégia em que o meu produtor preenche a minha matriz, e comecei a fazer modificações sobre isso, ai começa o meu problema.
Ignorando o mmap, a minha estratégia lendo diretamente o arquivo do disco seria a seguinte: ao invés de preencher a minha matriz, 1 caracter por vez como eu faço atualmente, eu vou preencher ela com uma string de 10 caracteres por vez, não dando importância se existe espaço, ponto, ou qualquer outro tipo de sujeira, isso eu vou elimar em um pós-processamento.
Para essa situação eu utilizei um código parecido com o abaixo, onde vou controlando a posição do ponteiro para saltar em blocos de 10bytes sabendo que cada char é 1byte.
Agora quando eu coloco o mmap no meio, não sei como mover esse "ponteiro" pra onde eu quero, no caso, move-lo de 10 em 10 bytes.
Para utilizar o mmap eu acrescentei as seguintes linhas de código:
Quando eu utilizo o read() para ler o conteúdo do "arquivoMap", ele não me retorna nada, ou seja, como eu faço pra ler os dados que estão mapeados pelo mmap? Como eu faço para fazer a mesma coisa que demonstrei no código acima, porém utilizando o mmap no contexto ?
Pergunta
Tharso
Olá pessoal. Estou trabalhando em uma aplicação de contar palavras de um arquivo que está no disco, e utiliza a estratégia do produtor/consumidor e double buffer, utilizando um thread para fazer o trabalho do produtor e outro thread para fazer o trabalho do consumidor.
No geral o produtor é mais lento que o consumidor, já que ele lê os dados disco e os armazena em uma matriz, e já que os dados estão em memoria o consumidor é mais rápido em validar cada palavra, e disponibilizar a posição da matriz novamente para o produtor colocar outra palavra ali.
Com a idéia de fazer o produtor trabalhar mais rápido, resolvi utilizar mmap, que mapea meu arquivo em uma região de memória. Até ai tudo lindo, funciona muito bem, diminui em 20% o tempo da minha aplicação para inputs grandes.
Porém analizando a aplicação comecei a rever a estratégia em que o meu produtor preenche a minha matriz, e comecei a fazer modificações sobre isso, ai começa o meu problema.
Ignorando o mmap, a minha estratégia lendo diretamente o arquivo do disco seria a seguinte: ao invés de preencher a minha matriz, 1 caracter por vez como eu faço atualmente, eu vou preencher ela com uma string de 10 caracteres por vez, não dando importância se existe espaço, ponto, ou qualquer outro tipo de sujeira, isso eu vou elimar em um pós-processamento.
Para essa situação eu utilizei um código parecido com o abaixo, onde vou controlando a posição do ponteiro para saltar em blocos de 10bytes sabendo que cada char é 1byte.
Agora quando eu coloco o mmap no meio, não sei como mover esse "ponteiro" pra onde eu quero, no caso, move-lo de 10 em 10 bytes. Para utilizar o mmap eu acrescentei as seguintes linhas de código:Quando eu utilizo o read() para ler o conteúdo do "arquivoMap", ele não me retorna nada, ou seja, como eu faço pra ler os dados que estão mapeados pelo mmap? Como eu faço para fazer a mesma coisa que demonstrei no código acima, porém utilizando o mmap no contexto ?
Link para o comentário
Compartilhar em outros sites
0 respostass a esta questão
Posts Recomendados
Participe da discussão
Você pode postar agora e se registrar depois. Se você já tem uma conta, acesse agora para postar com sua conta.