JDMASTER

Boa noite, estou trabalhando em um projeto em Python que exige que um array com mais de 20 milhões de linhas percorra outro array com mais de 5 mil linhas, portanto, cada elemento do array de 20 milhões deve percorrer todo o array de 5 mil, fazer cálculos e em seguida gravar em um novo array para posteriormente ser salvo em um arquivo. Portanto, para isso, estou usando while dentro de while, sendo o primeiro dos 20 milhões e o segundo dos 5 mil. Porém, como podem imaginar é um processo muito custoso, demorado demais, pelos meus cálculos levaria mais de 20 dias com o pc trabalhando 24 horas por dia. Eu tenho um processador octa-core com 15 threads, logo pensei em dividir esses arrays em várias partes, criar métodos para serem processados em multi-threads, procurei na internet e encontrei duas ou três formas de fazer, mas nenhuma funcionou, ele parece executar apenas uma thread. Alguém poderia me ajudar com esse problema? para ganho de desempenho, seja no exemplo de um processamento multi-thread ou de outra forma? Agradeço a atenção!

Boa noite caro amigo Arteen, agradeço sua atenção, realmente é uma boa solução quando o objetivo é manter o mesmo array, obrigado pela explicação. Porém no meu caso, preciso copiar essas informações processadas em um novo array utilizando o numpy, porque além dos dados do exemplo, o novo array receberá dados de um segundo array, então eu preciso de um terceiro array para reunir os dados processados e normalizados, quero utilizar o numpy devido ao ganho de performance, já que vou trabalhar com milhões de linhas... Obrigado mais uma vez pela atenção!

Boa noite amigo, sou iniciante em Python, e diferente de outras linguagens que já tive contato, estou tendo extrema dificuldade para conseguir transferir dados de um array para outro, utilizando o numpy... Eu tenho o seguinte código que captura os dados de um arquivo de texto e joga para um array numpy: valores = np.genfromtxt("C:\\Users\\Usuário\\Desktop\\arquivo.txt", delimiter=";", usecols=(1,2,3,4,5,6,7,8,9,10,11,12,13,14,15), skip_header=7) O resultado da captura acima é um array como o exemplo a seguir: 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 01 50 60 24 25 36 75 14 20 32 54 12 65 32 12 Até aí tudo bem, ele esta capturando todo o arquivo perfeitamente. O problema começa quando eu quero pegar os dados deste array "valores", processá-los e em seguida jogar em outro array, utilizando também o numpy. O que quero fazer é por exemplo, calcular a média de todos os valores de cada linha, jogar os valores e a média em outro array numpy, o resultado esperado é conforme exemplo a seguir: 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 - 8 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 - 23 01 50 60 24 25 36 75 14 20 32 54 12 65 32 12 - 34,1 O traço utilizei apenas para melhor exemplificar que quero a média após os valores, no lugar do traço poderia ser outro espaço em branco. Já tentei laços de repetição diversos, já utilizei vários exemplos da internet, e sempre dá erro, não estou conseguindo fazer isso. Alguém poderia me explicar como proceder? Muito obrigado pela atenção!

Boa noite amigo ArteEN, vou tentar fazer isso, minha dúvida é se ficará cada número na sua posição ou se ele acrescentará os zeros no final...vamos ver...obrigado pela atenção!

Bom dia amigos, estou com uma dúvida quanto a transformação de um array em Numpy. Tenho um array que captura informações de um arquivo de texto, então, cada linha desse array tem 10 dezenas separadas por um espaço em branco, como no exemplo abaixo: 01 03 05 07 09 10 11 12 13 14 02 03 05 06 07 08 09 10 11 12 O que preciso fazer é reamostrar esse array para que este fique com 15 dezenas, colocando zeros nos valores que não estão entre os 10, exemplo: antes: 01 03 05 07 09 10 11 12 13 14 02 03 05 06 07 08 09 10 11 12 depois: 01 00 03 00 05 00 07 00 09 10 11 12 13 14 00 00 02 03 00 05 06 07 08 09 10 11 12 00 00 00 Quero trabalhar com o Numpy devido a eficiência dessa biblioteca. Alguém pode me dar uma luz? Obrigado!

Bom dia, depois de dias pesquisando, consegui através do comando newline='', conforme imagem em anexo... Fica registrado para ajudar outros que tiverem o mesmo problema, grande abraço e muito obrigado pela atenção!

Bom dia caro amigo, agradeço sua atenção...na verdade, eu não estou tendo problema ao importar, o arquivo é criado a partir de uma combinatória de números, pra verificar o resultado, eu abro ele pelo bloco de notas, ou excel...e ele insiste em criar a linha em branco entre as linhas de dados...até o momento não consegui ninguém que consiga explicar o porquê disso... Grande abraço...

Boa noite amigo Arteen, argradeço sua atenção, de forma resumida e replicando o mesmo resultado, o código é este: Tirei print para melhor compreensão: Muito obrigado

Bom dia caros amigos do fórum, sou iniciante em Python e como todo iniciante estou enfrentando alguns obstáculos na jornada do conhecimento. Já pesquisei bastante e não consegui encontrar problemas parecidos com o meu, por isso escrevo essa dúvida e espero que possam me ajudar. Estou utilizando o seguinte código para gravar informações de uma variável de vetor para um arquivo .csv: writer = csv.writer(open("C:\\Users\\JDMASTER\\Desktop\\Arquivo.csv","w+"),delimiter=' ') writer.writerows(permsList) O arquivo final fica assim: 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 Percebam que ele esta gravando uma linha em branco, o resultado que eu espero é o seguinte: 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 Ou seja, sem a linha em branco no meio. Este arquivo conterá milhões de linhas e não posso ter linhas em branco pois isso dobra o tamanho do arquivo em linhas e torna mais complexa a continuação do meu projeto. Alguém pode me ajudar? Antecipo meus agradecimentos...