Mysql mais lento que paradox

[doidopb]

Olá pessoal,

Estou convertendo uma aplicação clipper, para delphi. Estou convertendo uma tabela do paradox, com quase 500.000 registros para mysql.

Até aí tudo bem, o lance é que ao abrir a mesma no programa que já existe em clipper, sua abertura leva no máximo 2 segundos, e no mysql não consigo tamanha performance, levando cerca de 6 segundos para tal feito.

Segue abaixo o select que estou usando:

SELECT datareg, nome, data, descricao ORDER BY datareg

Ao usar o ORDER BY, a performance cai mais ainda, só consegui o ganho para 6 segundos, depois que indexei o datareg

Agora a dúvida, como o MYSQL pode ser mais lento que o paradox????????

PS: Meu mysql é 0 5.0.45

Editado Novembro 8, 2012 por doidopb

[jrodrigues_]

Bom meu camarada, primeiramente tem que verificar as configurações do mysql como buffer,cache,page_size,log....

Tem um blog com algumas orientações e dicas boas mas é inglês. http://www.mysqlperformanceblog.com/2006/0...r-installation/

Um comentário: não deixe de criar index nas tabelas isso influência e muito nas consultas. :)

falou

Olá pessoal,

Estou convertendo uma aplicação clipper, para delphi. Estou convertendo uma tabela do paradox, com quase 500.000 registros para mysql.

Até aí tudo bem, o lance é que ao abrir a mesma no programa que já existe em clipper, sua abertura leva no máximo 2 segundos, e no mysql não consigo tamanha performance, levando cerca de 6 segundos para tal feito.

Segue abaixo o select que estou usando:

SELECT datareg, nome, data, descricao ORDER BY datareg

Ao usar o ORDER BY, a performance cai mais ainda, só consegui o ganho para 6 segundos, depois que indexei o datareg

Agora a dúvida, como o MYSQL pode ser mais lento que o paradox????????

PS: Meu mysql é 0 5.0.45

[doidopb]

Bom meu camarada, primeiramente tem que verificar as configurações do mysql como buffer,cache,page_size,log....

Tem um blog com algumas orientações e dicas boas mas é inglês. http://www.mysqlperformanceblog.com/2006/0...r-installation/

Um comentário: não deixe de criar index nas tabelas isso influência e muito nas consultas. :)

falou

Olá pessoal,

Estou convertendo uma aplicação clipper, para delphi. Estou convertendo uma tabela do paradox, com quase 500.000 registros para mysql.

Até aí tudo bem, o lance é que ao abrir a mesma no programa que já existe em clipper, sua abertura leva no máximo 2 segundos, e no mysql não consigo tamanha performance, levando cerca de 6 segundos para tal feito.

Segue abaixo o select que estou usando:

SELECT datareg, nome, data, descricao ORDER BY datareg

Ao usar o ORDER BY, a performance cai mais ainda, só consegui o ganho para 6 segundos, depois que indexei o datareg

Agora a dúvida, como o MYSQL pode ser mais lento que o paradox????????

PS: Meu mysql é 0 5.0.45

Vlw pelas dicas véio. Mechi aqui nas configurações do server, no primeiro select fica uma merda, depois fica show. Segue abaixo o my.ini, que tu acha:

# MySQL Server Instance Configuration File

# ----------------------------------------------------------------------

# Generated by the MySQL Server Instance Configuration Wizard

#

#

# Installation Instructions

# ----------------------------------------------------------------------

#

# On Linux you can copy this file to /etc/my.cnf to set global options,

# mysql-data-dir/my.cnf to set server-specific options

# (@localstatedir@ for this installation) or to

# ~/.my.cnf to set user-specific options.

#

# On Windows you should keep this file in the installation directory

# of your server (e.g. C:\Program Files\MySQL\MySQL Server X.Y). To

# make sure the server reads the config file use the startup option

# "--defaults-file".

#

# To run run the server from the command line, execute this in a

# command line shell, e.g.

# mysqld --defaults-file="C:\Program Files\MySQL\MySQL Server X.Y\my.ini"

#

# To install the server as a Windows service manually, execute this in a

# command line shell, e.g.

# mysqld --install MySQLXY --defaults-file="C:\Program Files\MySQL\MySQL Server X.Y\my.ini"

#

# And then execute this in a command line shell to start the server, e.g.

# net start MySQLXY

#

#

# Guildlines for editing this file

# ----------------------------------------------------------------------

#

# In this file, you can use all long options that the program supports.

# If you want to know the options a program supports, start the program

# with the "--help" option.

#

# More detailed information about the individual options can also be

# found in the manual.

#

#

# CLIENT SECTION

# ----------------------------------------------------------------------

#

# The following options will be read by MySQL client applications.

# Note that only client applications shipped by MySQL are guaranteed

# to read this section. If you want your own MySQL client program to

# honor these values, you need to specify it as an option during the

# MySQL client library initialization.

#

[client]

port=3306

[mysql]

default-character-set=latin1

# SERVER SECTION

# ----------------------------------------------------------------------

#

# The following options will be read by the MySQL Server. Make sure that

# you have installed the server correctly (see above) so it reads this

# file.

#

[mysqld]

# The TCP/IP Port the MySQL Server will listen on

port=3306

#Path to installation directory. All paths are usually resolved relative to this.

basedir="C:/Arquivos de programas/MySQL/MySQL Server 5.0/"

#Path to the database root

datadir="C:/Arquivos de programas/MySQL/MySQL Server 5.0/Data/"

# The default character set that will be used when a new schema or table is

# created and no character set is defined

default-character-set=latin1

# The default storage engine that will be used when create new tables when

default-storage-engine=INNODB

# Set the SQL mode to strict

sql-mode="STRICT_TRANS_TABLES,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION"

# The maximum amount of concurrent sessions the MySQL server will

# allow. One of these connections will be reserved for a user with

# SUPER privileges to allow the administrator to login even if the

# connection limit has been reached.

max_connections=100

# Query cache is used to cache SELECT results and later return them

# without actual executing the same query once again. Having the query

# cache enabled may result in significant speed improvements, if your

# have a lot of identical queries and rarely changing tables. See the

# "Qcache_lowmem_prunes" status variable to check if the current value

# is high enough for your load.

# Note: In case your tables change very often or if your queries are

# textually different every time, the query cache may result in a

# slowdown instead of a performance improvement.

query_cache_size=50MB

# The number of open tables for all threads. Increasing this value

# increases the number of file descriptors that mysqld requires.

# Therefore you have to make sure to set the amount of open files

# allowed to at least 4096 in the variable "open-files-limit" in

# section [mysqld_safe]

table_cache=1024

# Maximum size for internal (in-memory) temporary tables. If a table

# grows larger than this value, it is automatically converted to disk

# based table This limitation is for a single table. There can be many

# of them.

tmp_table_size=9M

# How many threads we should keep in a cache for reuse. When a client

# disconnects, the client's threads are put in the cache if there aren't

# more than thread_cache_size threads from before. This greatly reduces

# the amount of thread creations needed if you have a lot of new

# connections. (Normally this doesn't give a notable performance

# improvement if you have a good thread implementation.)

thread_cache_size=16

#*** MyISAM Specific options

# The maximum size of the temporary file MySQL is allowed to use while

# recreating the index (during REPAIR, ALTER TABLE or LOAD DATA INFILE.

# If the file-size would be bigger than this, the index will be created

# through the key cache (which is slower).

myisam_max_sort_file_size=100G

# If the temporary file used for fast index creation would be bigger

# than using the key cache by the amount specified here, then prefer the

# key cache method. This is mainly used to force long character keys in

# large tables to use the slower key cache method to create the index.

myisam_max_extra_sort_file_size=100G

# If the temporary file used for fast index creation would be bigger

# than using the key cache by the amount specified here, then prefer the

# key cache method. This is mainly used to force long character keys in

# large tables to use the slower key cache method to create the index.

myisam_sort_buffer_size=17M

# Size of the Key Buffer, used to cache index blocks for MyISAM tables.

# Do not set it larger than 30% of your available memory, as some memory

# is also required by the OS to cache rows. Even if you're not using

# MyISAM tables, you should still set it to 8-64M as it will also be

# used for internal temporary disk tables.

key_buffer_size=500M

# Size of the buffer used for doing full table scans of MyISAM tables.

# Allocated per thread, if a full scan is needed.

read_buffer_size=64K

read_rnd_buffer_size=256K

# This buffer is allocated when MySQL needs to rebuild the index in

# REPAIR, OPTIMZE, ALTER table statements as well as in LOAD DATA INFILE

# into an empty table. It is allocated per thread so be careful with

# large settings.

sort_buffer_size=256K

#*** INNODB Specific options ***

# Use this option if you have a MySQL server with InnoDB support enabled

# but you do not plan to use it. This will save memory and disk space

# and speed up some things.

#skip-innodb

# Additional memory pool that is used by InnoDB to store metadata

# information. If InnoDB requires more memory for this purpose it will

# start to allocate it from the OS. As this is fast enough on most

# recent operating systems, you normally do not need to change this

# value. SHOW INNODB STATUS will display the current amount used.

innodb_additional_mem_pool_size=20M

# If set to 1, InnoDB will flush (fsync) the transaction logs to the

# disk at each commit, which offers full ACID behavior. If you are

# willing to compromise this safety, and you are running small

# transactions, you may set this to 0 or 2 to reduce disk I/O to the

# logs. Value 0 means that the log is only written to the log file and

# the log file flushed to disk approximately once per second. Value 2

# means the log is written to the log file at each commit, but the log

# file is only flushed to disk approximately once per second.

innodb_flush_log_at_trx_commit=1

# The size of the buffer InnoDB uses for buffering log data. As soon as

# it is full, InnoDB will have to flush it to disk. As it is flushed

# once per second anyway, it does not make sense to have it very large

# (even with long transactions).

innodb_log_buffer_size=8M

# InnoDB, unlike MyISAM, uses a buffer pool to cache both indexes and

# row data. The bigger you set this the less disk I/O is needed to

# access data in tables. On a dedicated database server you may set this

# parameter up to 80% of the machine physical memory size. Do not set it

# too large, though, because competition of the physical memory may

# cause paging in the operating system. Note that on 32bit systems you

# might be limited to 2-3.5G of user level memory per process, so do not

# set it too high.

innodb_buffer_pool_size=500M

# Size of each log file in a log group. You should set the combined size

# of log files to about 25%-100% of your buffer pool size to avoid

# unneeded buffer pool flush activity on log file overwrite. However,

# note that a larger logfile size will increase the time needed for the

# recovery process.

innodb_log_file_size=10M

# Number of threads allowed inside the InnoDB kernel. The optimal value

# depends highly on the application, hardware as well as the OS

# scheduler properties. A too high value may lead to thread thrashing.

innodb_thread_concurrency=8

#Start without grant tables. This gives all users FULL ACCESS to all tables!

skip-grant-tables

Editado Novembro 8, 2012 por doidopb

[doidopb]

Cara, o lance do index realmente melhorou em muito a consulta, mas ainda continua sendo mais lerdo que o programa paradox em clipper.

Isso testando direto no mysql, além do mais em minha aplicacao uso o zeos, sem obdc no meio.

Como pode ser mais lerdo????

Bom meu camarada, primeiramente tem que verificar as configurações do mysql como buffer,cache,page_size,log....

Tem um blog com algumas orientações e dicas boas mas é inglês. http://www.mysqlperformanceblog.com/2006/0...r-installation/

Um comentário: não deixe de criar index nas tabelas isso influência e muito nas consultas. :)

falou

Olá pessoal,

Estou convertendo uma aplicação clipper, para delphi. Estou convertendo uma tabela do paradox, com quase 500.000 registros para mysql.

Até aí tudo bem, o lance é que ao abrir a mesma no programa que já existe em clipper, sua abertura leva no máximo 2 segundos, e no mysql não consigo tamanha performance, levando cerca de 6 segundos para tal feito.

Segue abaixo o select que estou usando:

SELECT datareg, nome, data, descricao ORDER BY datareg

Ao usar o ORDER BY, a performance cai mais ainda, só consegui o ganho para 6 segundos, depois que indexei o datareg

Agora a dúvida, como o MYSQL pode ser mais lento que o paradox????????

PS: Meu mysql é 0 5.0.45

[Denis Courcy]

Diversas são as razões para seu sistema estar lerdo.

A principal é que suas consultas devem estar gerando table scan (varredura completa na(s) tabela(s) para achar registro(s).) e isto se deve a alguns fatores, tais como, falta de indices, pesquisas com like ou substring ou outra que varra um determinado campo, etc.

Você vai ter que estudar e depurar cada uma das rotinas de acesso a banco em seu sistema para poder melhorar a performance dele.

Meu sistema trabalha com mais de 1000 inputs por dia e não nega fogo porque está bem azeitadinho.