Olá pessoal. Estou trabalhando em uma aplicação de contar palavras de um arquivo que está no disco, e utiliza a estratégia do produtor/consumidor e double buffer, utilizando um thread para fazer o trabalho do produtor e outro thread para fazer o trabalho do consumidor.
No geral o produtor é mais lento que o consumidor, já que ele lê os dados disco e os armazena em uma matriz, e já que os dados estão em memoria o consumidor é mais rápido em validar cada palavra, e disponibilizar a posição da matriz novamente para o produtor colocar outra palavra ali.
Com a idéia de fazer o produtor trabalhar mais rápido, resolvi utilizar mmap, que mapea meu arquivo em uma região de memória. Até ai tudo lindo, funciona muito bem, diminui em 20% o tempo da minha aplicação para inputs grandes.
Porém analizando a aplicação comecei a rever a estratégia em que o meu produtor preenche a minha matriz, e comecei a fazer modificações sobre isso, ai começa o meu problema.
Ignorando o mmap, a minha estratégia lendo diretamente o arquivo do disco seria a seguinte: ao invés de preencher a minha matriz, 1 caracter por vez como eu faço atualmente, eu vou preencher ela com uma string de 10 caracteres por vez, não dando importância se existe espaço, ponto, ou qualquer outro tipo de sujeira, isso eu vou elimar em um pós-processamento.
Para essa situação eu utilizei um código parecido com o abaixo, onde vou controlando a posição do ponteiro para saltar em blocos de 10bytes sabendo que cada char é 1byte.
Agora quando eu coloco o mmap no meio, não sei como mover esse "ponteiro" pra onde eu quero, no caso, move-lo de 10 em 10 bytes.
Para utilizar o mmap eu acrescentei as seguintes linhas de código:
Quando eu utilizo o read() para ler o conteúdo do "arquivoMap", ele não me retorna nada, ou seja, como eu faço pra ler os dados que estão mapeados pelo mmap? Como eu faço para fazer a mesma coisa que demonstrei no código acima, porém utilizando o mmap no contexto ?
Question
Tharso
Olá pessoal. Estou trabalhando em uma aplicação de contar palavras de um arquivo que está no disco, e utiliza a estratégia do produtor/consumidor e double buffer, utilizando um thread para fazer o trabalho do produtor e outro thread para fazer o trabalho do consumidor.
No geral o produtor é mais lento que o consumidor, já que ele lê os dados disco e os armazena em uma matriz, e já que os dados estão em memoria o consumidor é mais rápido em validar cada palavra, e disponibilizar a posição da matriz novamente para o produtor colocar outra palavra ali.
Com a idéia de fazer o produtor trabalhar mais rápido, resolvi utilizar mmap, que mapea meu arquivo em uma região de memória. Até ai tudo lindo, funciona muito bem, diminui em 20% o tempo da minha aplicação para inputs grandes.
Porém analizando a aplicação comecei a rever a estratégia em que o meu produtor preenche a minha matriz, e comecei a fazer modificações sobre isso, ai começa o meu problema.
Ignorando o mmap, a minha estratégia lendo diretamente o arquivo do disco seria a seguinte: ao invés de preencher a minha matriz, 1 caracter por vez como eu faço atualmente, eu vou preencher ela com uma string de 10 caracteres por vez, não dando importância se existe espaço, ponto, ou qualquer outro tipo de sujeira, isso eu vou elimar em um pós-processamento.
Para essa situação eu utilizei um código parecido com o abaixo, onde vou controlando a posição do ponteiro para saltar em blocos de 10bytes sabendo que cada char é 1byte.
Agora quando eu coloco o mmap no meio, não sei como mover esse "ponteiro" pra onde eu quero, no caso, move-lo de 10 em 10 bytes. Para utilizar o mmap eu acrescentei as seguintes linhas de código:Quando eu utilizo o read() para ler o conteúdo do "arquivoMap", ele não me retorna nada, ou seja, como eu faço pra ler os dados que estão mapeados pelo mmap? Como eu faço para fazer a mesma coisa que demonstrei no código acima, porém utilizando o mmap no contexto ?
Link to comment
Share on other sites
0 answers to this question
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.