Problemas de especificación de charset

[Pikus]

Buenas a tod@s,

Llevo durante unas horas peleándome con un tema. La situación es la siguiente:

Tengo 3 páginas, una principal y 2 cargas por ajax, todas ellas en ASP clásico. Las cargas ajax son para rellenar varios select (el típico de Provincia/Localidad/Código Postal), el problema me surge durante la comunicación con ellas...

Todas mis páginas están perfectamente advertidas que son ISO-8859-1 (también conocido como Windows 1252) con códigos como estos:

<%@LANGUAGE="VBSCRIPT" CODEPAGE="1252"%>
Response.Charset = "iso-8859-1"
<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1" />

Y en las respuestas aunque son HTML coloqué esto:
<?xml version="1.0" encoding="ISO-8859-1"?>

He probado también esto:
ajax.setRequestHeader("Accept-Charset", "ISO-8859-1");
ajax.setRequestHeader("Content-Type", "text/xml; charset=iso-8859-1");
ajax.send(null);

El problema está en que cuando solicito las provincias y las localidades no tengo ningún problema, veo las tildes y las "ñ", pero cuando envío la variable del nombre de la localidad para sacar sus códigos postales no me devuelve nada en las SELECT que incluyen tilde o Ñ en todos los navegadores salvo Internet Explorer 8 (que mágicamente en él no tengo problema y sí se realiza toda la comunicación en iso-8859-1). He podido comprobar que es porque al enviarlas, Ajax me lo envía en UTF-8 al servidor web y no conozco ninguna forma de cambiar esto o de transformar algo en UTF-8 a Windows 1252 desde ASP.

Mi base de datos está codificada en ISO-8859-1 y desconozco si es capaz de devolverme los datos en UTF-8 ya que lo intenté pero me daba error (es ASA).

Pongo el código en cualquier caso por si fuese necesario:

Código ASP:

<%@LANGUAGE="VBSCRIPT" CODEPAGE="1252"%>
<% Option Explicit %>
<?xml version="1.0" encoding="ISO-8859-1"?>
<% ' Especificamos envío de conjunto de caracteres 
Response.Charset = "iso-8859-1"
 
If Request.QueryString("prov") = 99 Or Request.QueryString("prov") = "" Then
    %>
    <input class="singlefield" type="text" name="cp" id="cp" value="" />
    <%
    Response.End
End If
 
If Request.QueryString("loc") = "" Then
    %>
    <input class="singlefield" type="text" name="cp" id="cp" value="" />
    <%
    Response.End
End If
 
Dim SQL, conexion, rsLocalidades, ArrayRecordSet, i, SizeArray
 
' Conecto y muestro error en caso de no lograr conectar
 
On Error Resume Next
 
'Abro conexión a BD interna y transacción
Set conexion = CreateObject("ADODB.Connection")
    conexion.ConnectionString="DSN=BD Interna"
    conexion.Open
    conexion.BeginTrans
 
'Si no logro conectar, reseteo el número de error y conecto a servidor externo
If Err.Number <> 0 Then
 
    On Error GoTo 0
    On Error Resume Next
    
    conexion.ConnectionString="DSN=MeetingPoint"
    conexion.Open
    conexion.BeginTrans
 
    'No se logró conectar a ninguno de los dos, muestro error
    If Err.Number <> 0 Then
        Response.Write("Error, elija de nuevo.")
        Response.End
    End If
End If
 
' Lanzamos el RecordSet en modo 0, 1, 0 con cursor en local para tratar de reducir su tiempo de ejecución
Set rsLocalidades = Server.CreateObject("ADODB.Recordset")
    rsLocalidades.CursorLocation = 3    'adUseClient
    rsLocalidades.CursorType = 0        'adOpenForwardOnly
    rsLocalidades.LockType = 1          'adLockReadOnly
    SQL = "SELECT DISTINCT(codpostal) FROM codpostloc WHERE provincia = '" & Request.QueryString("prov") & "' AND " & _
          "poblacion = '" & Request.QueryString("loc") & "' ORDER BY 1"
    rsLocalidades.Open SQL, conexion
    
    ' Response.Write(SQL)
        
If Err.Number <> 0 Then
    Response.Write("Error, seleccione localidad de nuevo.")
    conexion.RollbackTrans
    Response.End
End If
 
' Copio a un array el RecordSet, calculo tamaño máximo de la dimensión 2 (1-columna/2-fila) y cierro conexión
ArrayRecordSet = rsLocalidades.GetRows
SizeArray = UBound(ArrayRecordSet, 2)
' Response.Write("<br>" & ArrayRecordSet(0,0))
rsLocalidades.Close
conexion.RollbackTrans
conexion.Close
 
On Error Goto 0 %>
 
<% If SizeArray > 0 Or IsArray(ArrayRecordSet) Then %>
<select class="singlefieldcombo" id="cp" name="cp" >
    <% If SizeArray > 0 Then %>
<option value=""></option>
    <% End If %>
    <% For i = 0 To SizeArray %>
<option value="<%=ArrayRecordSet(0, i)%>"><%=ArrayRecordSet(0, i)%></option>
    <%Next %>
</select>
<% End If %>
 

Muchas gracias y un saludo.

[Pikus]

Tras continuar pateándome Google llegué a la conclusión de que no había manera de decirle a Ajax que envíe los datos en otra codificación que no sea UTF8, por ello decidí que lo mejor sería cambiar de UTF8 a iso-8859-1 directamente desde ASP. Como no hay una función concreta que lo haga, encontré algo efectivo y que me funcionó:

Fuente: http://www.codetoad.com/asp_utf8.asp

Código ASP:

<%
Option Explicit
 
' Simple Functions to convert the first 256 characters 
' of the Windows character set from And to UTF-8.
 
' Written by Hans Kalle for Fisz
' http://www.fisz.nl
 
'IsValidUTF8
'  Tells If the string is valid UTF-8 encoded
'Returns:
'  true (valid UTF-8)
'  false (invalid UTF-8 or not UTF-8 encoded string)
Function IsValidUTF8(s)
  Dim i
  Dim c
  Dim n
 
  IsValidUTF8 = false
  i = 1
  Do While i <= len(s)
    c = asc(mid(s,i,1))
    If c And &H80 Then
      n = 1
      Do While i + n < len(s)
        If (asc(mid(s,i+n,1)) And &HC0) <> &H80 Then
          Exit Do
        End If
        n = n + 1
      Loop
      Select Case n
      Case 1
        Exit Function
      Case 2
        If (c And &HE0) <> &HC0 Then
          Exit Function
        End If
      Case 3
        If (c And &HF0) <> &HE0 Then
          Exit Function
        End If
      Case 4
        If (c And &HF8) <> &HF0 Then
          Exit Function
        End If
      Case Else
        Exit Function
      End Select
      i = i + n
    Else
      i = i + 1
    End If
  Loop
  IsValidUTF8 = true 
End Function
 
'DecodeUTF8
'  Decodes a UTF-8 string to the Windows character set
'  Non-convertable characters are replace by an upside
'  down question mark.
'Returns:
'  A Windows string
Function DecodeUTF8(s)
  Dim i
  Dim c
  Dim n
 
  i = 1
  Do While i <= len(s)
    c = asc(mid(s,i,1))
    If c And &H80 Then
      n = 1
      Do While i + n < len(s)
        If (asc(mid(s,i+n,1)) And &HC0) <> &H80 Then
          Exit Do
        End If
        n = n + 1
      Loop
      If n = 2 And ((c And &HE0) = &HC0) Then
        c = asc(mid(s,i+1,1)) + &H40 * (c And &H01)
      Else
        c = 191 
      End If
      s = left(s,i-1) + chr(c) + mid(s,i+n)
    End If
    i = i + 1
  Loop
  DecodeUTF8 = s 
End Function
 
'EncodeUTF8
'  Encodes a Windows string in UTF-8
'Returns:
'  A UTF-8 encoded string
Function EncodeUTF8(s)
  Dim i
  Dim c
 
  i = 1
  Do While i <= len(s)
    c = asc(mid(s,i,1))
    If c >= &H80 Then
      s = left(s,i-1) + chr(&HC2 + ((c And &H40) / &H40)) + chr(c And &HBF) + mid(s,i+1)
      i = i + 1
    End If
    i = i + 1
  Loop
  EncodeUTF8 = s 
End Function
%>
 

Al llamar a esa función dentro de mi código se acabaron los problemas de codificación:

Código ASP:

' Transformamos la localidad de UTF8 a iso-8859-1 si está codificada en UTF8
' ============ IMPORTANTE ============
' ************************************
' Hay que decodificarla así porque el string se recibe en UTF8 siendo de origen Windows 1252 y provoca caracteres raros
' como es UTF8 valid hay que decodificarlo para que se transforme en Windows 1252
' En caso de ser invalid es porque nos lo han enviado directamente en Windows 1252 (caso de IE8) que es lo que nos interesa, no lo tranformamos
If IsValidUTF8(Request.QueryString("loc")) Then
    localidad = decodeUTF8(Request.QueryString("loc"))
Else
    localidad = Request.QueryString("loc")
End If
 

Un saludo y espero que le sirva a alguien.

[javiDP]

No entiendo como aun hay gente que usa ISO en su charset, cuando UTF-8 vale para todo

[Pikus]

Es simple, la base de datos está hecha así y está pensada para una aplicación de escritorio, donde "daba igual" uno que otro. El tema es que 5 años después se ha necesitado llevar esa base de datos a una web... y así pasa. Si hubiesen pensado directamente en web hubiesen usado UTF-8 pero como no es el caso y se adaptó mucho más tarde, pues... :P.