Boa noite, estou trabalhando em um projeto em Python que exige que um array com mais de 20 milhões de linhas percorra outro array com mais de 5 mil linhas, portanto, cada elemento do array de 20 milhões deve percorrer todo o array de 5 mil, fazer cálculos e em seguida gravar em um novo array para posteriormente ser salvo em um arquivo.
Portanto, para isso, estou usando while dentro de while, sendo o primeiro dos 20 milhões e o segundo dos 5 mil. Porém, como podem imaginar é um processo muito custoso, demorado demais, pelos meus cálculos levaria mais de 20 dias com o pc trabalhando 24 horas por dia.
Eu tenho um processador octa-core com 15 threads, logo pensei em dividir esses arrays em várias partes, criar métodos para serem processados em multi-threads, procurei na internet e encontrei duas ou três formas de fazer, mas nenhuma funcionou, ele parece executar apenas uma thread.
Alguém poderia me ajudar com esse problema? para ganho de desempenho, seja no exemplo de um processamento multi-thread ou de outra forma?
Pergunta
JDMASTER
Boa noite, estou trabalhando em um projeto em Python que exige que um array com mais de 20 milhões de linhas percorra outro array com mais de 5 mil linhas, portanto, cada elemento do array de 20 milhões deve percorrer todo o array de 5 mil, fazer cálculos e em seguida gravar em um novo array para posteriormente ser salvo em um arquivo.
Portanto, para isso, estou usando while dentro de while, sendo o primeiro dos 20 milhões e o segundo dos 5 mil. Porém, como podem imaginar é um processo muito custoso, demorado demais, pelos meus cálculos levaria mais de 20 dias com o pc trabalhando 24 horas por dia.
Eu tenho um processador octa-core com 15 threads, logo pensei em dividir esses arrays em várias partes, criar métodos para serem processados em multi-threads, procurei na internet e encontrei duas ou três formas de fazer, mas nenhuma funcionou, ele parece executar apenas uma thread.
Alguém poderia me ajudar com esse problema? para ganho de desempenho, seja no exemplo de um processamento multi-thread ou de outra forma?
Agradeço a atenção!
Link para o comentário
Compartilhar em outros sites
1 resposta a esta questão
Posts Recomendados
Participe da discussão
Você pode postar agora e se registrar depois. Se você já tem uma conta, acesse agora para postar com sua conta.