Motor de busqueda en base a diccionario

[Brian_91]

Hola, les cuento la situacion tengo un diccionario en la base de datos para ayudar a un motor de busqueda en php, el diccionario tiene los campos id,dicpalabra, dicrelevancia,dictipo el tipo es para identificar categorias y agregar filtros desde php para "una gran sql". El problema es que al escribir palabras con algun error de escritura no encuentro resultados para el filtro.

Para aclarar un poco pongo un ej el usuario busca:
"Casa en punta del este para la venta"

El diccionario tiene:
- casa
- punta del este
- venta

Hasta este momento con mysql identifico los teminos contenidos en la frase así:

Código PHP:

  select dicpalabra from diccionario where INSTR("Casa en punta del este para la venta",dicpalabra) >0 order by dicrelevancia DESC  
   

Esto es bastante efectivo, pero tiene sus defectos al tipear mal una palabra.
Si quisiera usar soundex para corregir haria esto:
Deberia hacer un explode separando por espacios " " y tendria este array:casa , en, punta, del, este, para, la, venta

Pero se me separan las palabras compuestas, "Punta del este" queda "Punta", "del", "este" y el diccionario tiene "punta del este" por lo tanto el soundex de "punta" no es igual de "punta del este" ni "del" y "este".

Algo que funcionaria de maravilla pero no se como hacerlo:
Insertar en la frase el soundex de cada palabra del diccionario y luego hacer el instr con soundex algo asi:

select dicpalabra from diccionario where instr("C000 en P53423 para la V530",soundex(dicpalabra)) >0
Entonces obtendria palabras que tengan el mismo soundex, y solucionaria algunos errores de tipeo

¿Se podria insertar el soundex de cada palabra en la frase sin perder palabras compuestas como Punta del este pero al mismo tiempo corregirlas ?

Desde ya gracias. Saludos !

[abimaelrc]

Lo que podrías hacer es dividir también la frase "Punta del este" y verificar si todos los valores son iguales al que hiciste con el explode.

[Brian_91]

Iniciado por abimaelrc

Lo que podrías hacer es dividir también la frase "Punta del este" y verificar si todos los valores son iguales al que hiciste con el explode.

Hola respuesta rapida , con mysql dividir la palabra del diccionario ??
Se podria con mysql extraer palabras de la frase separandolas por " " y concatenarlas con el respectivo soundex ?

[abimaelrc]

Bueno, en MySQL no existe un split o explode, sí se puede hacer un "workaround" usando SUBSTRING_INDEX, como este ejemplo colocando en http://dev.mysql.com/doc/refman/5.0/...ons.html#c7380

Código MySQL:

SELECT
`ip` , 
SUBSTRING_INDEX( `ip` , '.', 1 ) AS a,
SUBSTRING_INDEX(SUBSTRING_INDEX( `ip` , '.', 2 ),'.',-1) AS b, 
SUBSTRING_INDEX(SUBSTRING_INDEX( `ip` , '.', -2 ),'.',1) AS c,
SUBSTRING_INDEX( `ip` , '.', -1 ) AS d
FROM log_table
 

Tal vez con stored procedures, lo puedas lograr. Otra forma de hacerlo es descargar la tabla en un array en PHP y usar el explode y soundex de PHP.

[Brian_91]

Iniciado por abimaelrc

Bueno, en MySQL no existe un split o explode, sí se puede hacer un "workaround" usando [URL="http://dev.mysql.com/doc/refman/5.0/en/string-functions.html#function_substring-index"]SUBSTRING_INDEX[/URL], como este ejemplo colocando en [url]http://dev.mysql.com/doc/refman/5.0/en/string-functions.html#c7380[/url]

Código MySQL:

SELECT
`ip` , 
SUBSTRING_INDEX( `ip` , '.', 1 ) AS a,
SUBSTRING_INDEX(SUBSTRING_INDEX( `ip` , '.', 2 ),'.',-1) AS b, 
SUBSTRING_INDEX(SUBSTRING_INDEX( `ip` , '.', -2 ),'.',1) AS c,
SUBSTRING_INDEX( `ip` , '.', -1 ) AS d
FROM log_table
 

Tal vez con [URL="http://dev.mysql.com/tech-resources/articles/mysql-storedprocedures.html"]stored procedures[/URL], lo puedas lograr. Otra forma de hacerlo es descargar la tabla en un array en PHP y usar el explode y soundex de PHP.

Gracias abimaelrc, voy a probar el substring_index y leer el pdf de stored procedures, pinta muy bien. Si encuentro la solucion la posteo

[Brian_91]

Bueno despues, de probar ejemplos en el diccionario con 377 palabras no resulto muy util usar soundex, por que si bien encontraba esas palabras al escribirlas mal tambien me traia otras palabras del diccionario y la busqueda seria incoherente.

Al final lo voy hacer de esta forma:

Código PHP:

  $sql="select dicpalabra, match(dicpalabra) against('".mysql_real_escape_string($query)."' IN BOOLEAN MODE) as score from diccionario having score > 0 and instr('".mysql_real_escape_string($query)."', dicpalabra)>0";  
   

Mezclar full textsearch con instr, entonces las palabras que se escriban bien las voy a encontrar y las que tengan algun error de tipeo me las trae el full text search in boolean mode (escritas con cierto margen de error), pero incluso puede ser hasta mejor que el soundex, porque hay varias palabras con el mismo soundex mayormente palabras que tienen 5 o menos letras y sin espacios.

Sino encuentro resultados
Elimino palabras encontradas en el diccionario de la frase buscada y empieso a buscar con soundex las palabras que no encontre en el diccionario de esta forma:
Creo una nueva frase, que tiene el soundex() de cada palabra y las comparo contra el soundex de cada palabra en el diccionario.

Por ej: el soundex dentro del diccionario de "Punta del este" es "P530 D400 E230"

Entonces la sql seria:

select dicpalabra from diccionario where instr("C000 en P530 D400 E230",dicsoundex);
(palabras con menos de 2 letras no ingreso soundex en la frase, incluso es conveniente una lista de palabras a excluir como "en, el, para, con, sin".

Esa sql trae, "Punta del este", "casa" pero tambien tengo otras palabras como "chuy" que tiene el mismo soundex que "casa".

Para "armar el quizás quiso decir", tengo 2 cosas por hacer ordenar por relevancia las palabras obtenidas, y en el diccionario tengo un campo dictipo esto es para separar palabras, es una web de buscar propiedades y tengo los tipos:
categoria("venta,alquiler etc"), tipos("Casa, apartamento..."), Ubicacion("Cuidades, zonas.."), comodidad("Garage, piscina etc")
(El diccionario se alimenta de otras tablas, ciudades, zonas, atributos, categorias, y algunas ingresadas manualmente)

Entonces para armar una frase coherente y decirle al usuario "quizas quisiste decir", lo minimo que tengo que mostrar es el tipo de propiedad luego lo de mas es random:
TIPO +(ubicacion y/o categoria ) es el criterio que uso y si el usuario ingreso alguna comodidad la agrego al final de la frase.

Bueno espero le sirva a alguien. Si hay ideas para mejorar bienvenidas sean !!!

[abimaelrc]

Como te indique, puedes ingresar la consulta en un array y usar las funciones de PHP. Te recomiendo que mires la función levenshtein, ahí hay un ejemplo de exactamente lo que te quiero decir y exactamente lo que tu quieres hacer.

[Brian_91]

Iniciado por abimaelrc

Como te indique, puedes ingresar la consulta en un array y usar las funciones de PHP. Te recomiendo que mires la función [URL="http://www.php.net/manual/en/function.levenshtein.php"]levenshtein[/URL], ahí hay un ejemplo de exactamente lo que te quiero decir y exactamente lo que tu quieres hacer.

Ok, voy a probar esa funcion.