Selection and evaluation of patient-targeted Websites in the field of healthcare.
2006
TODAS
TEC. SANITARIA. EXCLU. MED.
INFORMES DE EVALUACIÓN
- + Año
-
2006
- + Áreas de Conocimiento
-
TODAS
- + Tipo Tecnología
-
TEC. SANITARIA. EXCLU. MED.
- + Línea de Producción
-
INFORMES DE EVALUACIÓN
Con el objetivo de identificar sitios Web que brindan información en español sobre salud, de contrastada calidad, que puedan ser incluidos como enlaces en el sitio Web de la Agencia de Evaluación de Tecnologías Sanitarias de Andalucía, se realizó un panel de expertos y un estudio descriptivo trasversal. Los autores señalaron los sitios Web de mejor calidad según los parámetros previamente definidos. En la calidad de acuerdo a los códigos de conducta, Fisterra es el sitio que cubre más dimensiones de manera sobresaliente. Con respecto a la calidad de contenido destacan Medlineplus, fisterra, el Ministerio de Sanidad y Consumo Español y el Instituto de Salud de EE.UU.
Introducción
La difusión del conocimiento biomédico a través de Internet ha puesto al alcance de los ciudadanos una variedad y cantidad de información sin precedentes. Si bien este hecho podría favorecer el ejercicio de la autonomía del ciudadano, la incertidumbre que implica la búsqueda de información de calidad conlleva que los profesionales, los gestores y demás responsables sanitarios, se vean en la necesidad de asistir a los pacientes en este proceso.
Existen distintas aproximaciones a la evaluación de la calidad de los sitios Web que brindan información sobre salud en Internet: están los cuestionarios ad hoc, los filtros y guías de usuario, los sellos de calidad, la acreditación por terceros, los códigos de conducta, la recomendación por pares y page rank.
Objetivos
Objetivo general
Identificar sitios Web que brindan información en español sobre salud, de contrastada calidad, que puedan ser incluidos como enlaces en el sitio Web de la Agencia de Evaluación de Tecnologías Sanitarias de Andalucía (AETSA).
Objetivos específicos
Definir un listado de sitios Web que brinden información de calidad sobre salud dirigida al colectivo general de pacientes y otro dirigido a colectivos específicos de pacientes (diabéticos, mayores, etc).
Evaluar la calidad de los sitios Web según los criterios enunciados en los códigos de conducta, y otras medidas como la popularidad por enlaces, el page rank de Google y la presencia de sellos de calidad.
Evaluar la calidad de contenido de los listados de sitios Web definidos.
Determinar si existe relación entre la calidad de acuerdo a códigos de conducta y la calidad de contenido.
Metodología
El Objetivo 1 se desarrolló mediante consulta a un panel de expertos. Se realizó una consulta por correo electrónico a un grupo de 24 expertos de distintos perfiles (gestores del Sistema Nacional de Salud, expertos en medicina basada en la evidencia, miembros de asociaciones civiles, etc), solicitándoles que propusieran según su criterio un listado de 10 sitios Web con información general sobre salud y otro de 10 sitios Web dirigidos a colectivos específicos de pacientes. Los sitios que fueron propuestos espontáneamente por más de dos expertos se sometieron a una evaluación de su calidad.
Para los demás objetivos (evaluación de calidad) se realizó un estudio descriptivo transversal a partir de 2 cuestionarios diseñados para tal fin. Las páginas seleccionadas fueron evaluadas independientemente por tres evaluadores a partir de dichos cuestionarios. El primer cuestionario evalúa el cumplimiento de los códigos de conducta más destacados: 1) El código de la American Medical Association; 2) El e-Health Code of Ethics de la Internet Health Coalition; 3) El código del Health Summit Working Group; y 4) El código e-Europe 2002, así como las iniciativas de la OCDE y e-Confidence para la protección del consumidor en Internet. Con base en éstos se definieron distintas dimensiones de análisis: transparencia, política editorial, autoría, actualización, protección de datos personales, responsabilidad del sitio, y accesibilidad. Además se incluyó la medición de la popularidad por enlaces, el page rank y la presencia de sellos de calidad. Para evaluar la calidad de contenidos se utilizó un segundo cuestionario, basado en la evidencia científica sobre terapia hormonal en el climaterio y medidas preventivas o paliativas de los síntomas asociados a esta etapa de la vida, utilizando varias dimensiones: riesgos, beneficios, y beneficios no demostrados de la terapia hormonal sustitutoria (TH), y recomendaciones preventivas o paliativas para los síntomas asociados al climaterio.
Análisis
El cumplimiento de los ítems de cada área de análisis se evaluó en términos absolutos (número de ítems cumplidos), en términos relativos (porcentaje), y en función de los cuartiles. Se consideró que tenían un cumplimiento medio aquellos sitios Web que cumplían los criterios de modo tal que se encontraban entre el percentil 25 y 75, y poco o muy buen cumplimiento aquellos que no alcanzaron el percentil 25 o sobrepasaron el percentil 75, respectivamente. Se efectuó un análisis de concordancia entre evaluadores para las dimensiones más relacionadas con la calidad del contenido.
Para determinar si existe relación entre la calidad de acuerdo a códigos de conducta y la calidad de contenido se realizó una correlación bivariante (coeficiente de Pearson) entre las dimensiones de calidad de acuerdo a códigos de conducta y de información sobre TH y climaterio, para las variables continuas. Para las variables dicotómicas (cumplimiento muy bueno o cumplimiento menor) se realizó un análisis bivariante con regresión logística.
Considerando aquellas dimensiones de análisis de calidad de acuerdo a códigos de conducta que se asociaron a la calidad de los contenidos en el análisis bivariante, se elaboró un listado de los sitios Web mejor evaluados. Aquellos sitios que informaron alguna de esas dimensiones por debajo del percentil 25 de la muestra se excluyeron del listado. Finalmente, la sumatoria del cumplimiento de las distintas dimensiones de análisis de calidad de acuerdo a códigos de conducta, se utilizó para discriminar entre dos sitios que presentaban igual cumplimiento en las áreas mencionadas y para aquellos sitios que no ofrecían información sobre TH.
Principales resultados
Consulta a expertos
La consulta a expertos se tradujo en dos listados de sitios Web con información sobre salud, uno para el colectivo de pacientes en general de 25 sitios Web, y otro para colectivos específicos de pacientes de 21 sitios.
Calidad de acuerdo a códigos de conducta, page rank y sellos
El análisis de calidad respecto al cumplimiento de los códigos de conducta aborda aspectos muy distintos que debería cumplir un sitio Web, y se dan casos en que el cumplimiento en un área es muy bueno y en otra área es muy bajo. Para cada una de las dimensiones de análisis se presenta en el texto la puntuación obtenida destacando los sitios Web de cumplimiento alto.
A manera de síntesis, Fisterra es el sitio que cubre más dimensiones de análisis de los criterios de los códigos de conducta de manera sobresaliente (6 de 7): transparencia, política editorial, autoría, actualización, protección de datos personales, y accesibilidad. Le siguen según la sumatoria del cumplimiento de las distintas dimensiones sitios como: pulevasalud.com, viatusalud.com, Medlineplus.gov, respirar.org, cdc.gov, lasalud.com, 4woman.gov, noah-health.org, y cancer.gov.
Calidad de contenido
Con relación a la calidad de contenido destacan como los que mejor informan Medlineplus, fisterra, el Ministerio de Sanidad y Consumo español y el Instituto de Salud de EE.UU, con tres aspectos sobresalientes de cuatro evaluados. Con dos aspectos sobresalientes se encuentran: familydoctor, lasalud, la Organización Mundial de la Salud y el Centro de Información de Salud de la mujer del Instituto de Salud de EE.UU.
Relación entre calidad según códigos de conducta y contenido
Las dimensiones de calidad según códigos de conducta que se correlacionan positiva y significativamente (p < 0,05) con mayor número de otras dimensiones fueron la política editorial (que se correlaciona con todas las dimensiones excepto la responsabilidad), y la accesibilidad (que se correlaciona con todas las dimensiones excepto con la transparencia). Además, estas dos dimensiones se correlacionan directa y significativamente con la calidad de los contenidos. En el análisis de regresión logística, tanto la política editorial como la accesibilidad se asociaron directa y significativamente a la información sobre los riesgos de la TH.
Conclusiones
• Los sitios Web que mejor calidad presentaron en este estudio según la información sobre riesgos, la política editorial, la accesibilidad y la sumatoria de las dimensiones de calidad de acuerdo a códigos de conducta fueron:
1. Sitios dirigidos al colectivo general de pacientes
www.fisterra.com
medlineplus.gov/spanish
www.lasalud.com
www.pulevasalud.com
www.cdc.gov/spanish/
www.noah-health.org
2. Sitios dirigidos a colectivos específicos de pacientes
www.4woman.gov/spanish
www.respirar.org
www.cancer.gov/español
www.todosvacunados.com
www.diabetesjuvenil.com
www.espalda.org
www.aepap.org
• En el análisis de calidad de acuerdo a los códigos de conducta, Fisterra es el sitio que cubre más dimensiones de manera sobresaliente (6 de 7): transparencia, política editorial, autoría, actualización, protección de datos personales, y accesibilidad. Le siguen según la sumatoria del cumplimiento de las distintas dimensiones sitios como: pulevasalud.com, viatusalud.com, Medlineplus.gov, respirar.org, cdc.gov, lasalud.com, 4woman.gov, noah-health.org, y cancer.gov.
• Con respecto a la calidad de contenido destacan como los que mejor informan Medlineplus, fisterra, el Ministerio de Sanidad y Consumo Español y el Instituto de Salud de EE.UU., con tres aspectos sobresalientes de cuatro evaluados. Luego con dos aspectos sobresalientes se encuentran, familydoctor, lasalud, la Organización Mundial de la Salud y el Centro de Información de Salud de la Mujer del Instituto de Salud de EE.UU.
• Dentro de las dimensiones de análisis según los criterios de los códigos de conducta, la política editorial y la accesibilidad destacan por asociarse a mejor información sobre riesgos de la terapia hormonal.
• Las dimensiones de calidad según códigos de conducta se asocian mayormente a la calidad de la información sobre los riesgos de la TH, y secundariamente a la información sobre los beneficios de la misma. Por otra parte ninguna de estas dimensiones se asoció a una mayor o menor presentación ni de beneficios no demostrados de la terapia hormonal ni de medidas preventivas.
La difusión del conocimiento biomédico a través de Internet ha puesto al alcance de los ciudadanos una variedad y cantidad de información sin precedentes. Si bien este hecho podría favorecer el ejercicio de la autonomía del ciudadano, la incertidumbre que implica la búsqueda de información de calidad conlleva que los profesionales, los gestores y demás responsables sanitarios, se vean en la necesidad de asistir a los pacientes en este proceso.
Existen distintas aproximaciones a la evaluación de la calidad de los sitios Web que brindan información sobre salud en Internet: están los cuestionarios ad hoc, los filtros y guías de usuario, los sellos de calidad, la acreditación por terceros, los códigos de conducta, la recomendación por pares y page rank.
Objetivos
Objetivo general
Identificar sitios Web que brindan información en español sobre salud, de contrastada calidad, que puedan ser incluidos como enlaces en el sitio Web de la Agencia de Evaluación de Tecnologías Sanitarias de Andalucía (AETSA).
Objetivos específicos
Definir un listado de sitios Web que brinden información de calidad sobre salud dirigida al colectivo general de pacientes y otro dirigido a colectivos específicos de pacientes (diabéticos, mayores, etc).
Evaluar la calidad de los sitios Web según los criterios enunciados en los códigos de conducta, y otras medidas como la popularidad por enlaces, el page rank de Google y la presencia de sellos de calidad.
Evaluar la calidad de contenido de los listados de sitios Web definidos.
Determinar si existe relación entre la calidad de acuerdo a códigos de conducta y la calidad de contenido.
Metodología
El Objetivo 1 se desarrolló mediante consulta a un panel de expertos. Se realizó una consulta por correo electrónico a un grupo de 24 expertos de distintos perfiles (gestores del Sistema Nacional de Salud, expertos en medicina basada en la evidencia, miembros de asociaciones civiles, etc), solicitándoles que propusieran según su criterio un listado de 10 sitios Web con información general sobre salud y otro de 10 sitios Web dirigidos a colectivos específicos de pacientes. Los sitios que fueron propuestos espontáneamente por más de dos expertos se sometieron a una evaluación de su calidad.
Para los demás objetivos (evaluación de calidad) se realizó un estudio descriptivo transversal a partir de 2 cuestionarios diseñados para tal fin. Las páginas seleccionadas fueron evaluadas independientemente por tres evaluadores a partir de dichos cuestionarios. El primer cuestionario evalúa el cumplimiento de los códigos de conducta más destacados: 1) El código de la American Medical Association; 2) El e-Health Code of Ethics de la Internet Health Coalition; 3) El código del Health Summit Working Group; y 4) El código e-Europe 2002, así como las iniciativas de la OCDE y e-Confidence para la protección del consumidor en Internet. Con base en éstos se definieron distintas dimensiones de análisis: transparencia, política editorial, autoría, actualización, protección de datos personales, responsabilidad del sitio, y accesibilidad. Además se incluyó la medición de la popularidad por enlaces, el page rank y la presencia de sellos de calidad. Para evaluar la calidad de contenidos se utilizó un segundo cuestionario, basado en la evidencia científica sobre terapia hormonal en el climaterio y medidas preventivas o paliativas de los síntomas asociados a esta etapa de la vida, utilizando varias dimensiones: riesgos, beneficios, y beneficios no demostrados de la terapia hormonal sustitutoria (TH), y recomendaciones preventivas o paliativas para los síntomas asociados al climaterio.
Análisis
El cumplimiento de los ítems de cada área de análisis se evaluó en términos absolutos (número de ítems cumplidos), en términos relativos (porcentaje), y en función de los cuartiles. Se consideró que tenían un cumplimiento medio aquellos sitios Web que cumplían los criterios de modo tal que se encontraban entre el percentil 25 y 75, y poco o muy buen cumplimiento aquellos que no alcanzaron el percentil 25 o sobrepasaron el percentil 75, respectivamente. Se efectuó un análisis de concordancia entre evaluadores para las dimensiones más relacionadas con la calidad del contenido.
Para determinar si existe relación entre la calidad de acuerdo a códigos de conducta y la calidad de contenido se realizó una correlación bivariante (coeficiente de Pearson) entre las dimensiones de calidad de acuerdo a códigos de conducta y de información sobre TH y climaterio, para las variables continuas. Para las variables dicotómicas (cumplimiento muy bueno o cumplimiento menor) se realizó un análisis bivariante con regresión logística.
Considerando aquellas dimensiones de análisis de calidad de acuerdo a códigos de conducta que se asociaron a la calidad de los contenidos en el análisis bivariante, se elaboró un listado de los sitios Web mejor evaluados. Aquellos sitios que informaron alguna de esas dimensiones por debajo del percentil 25 de la muestra se excluyeron del listado. Finalmente, la sumatoria del cumplimiento de las distintas dimensiones de análisis de calidad de acuerdo a códigos de conducta, se utilizó para discriminar entre dos sitios que presentaban igual cumplimiento en las áreas mencionadas y para aquellos sitios que no ofrecían información sobre TH.
Principales resultados
Consulta a expertos
La consulta a expertos se tradujo en dos listados de sitios Web con información sobre salud, uno para el colectivo de pacientes en general de 25 sitios Web, y otro para colectivos específicos de pacientes de 21 sitios.
Calidad de acuerdo a códigos de conducta, page rank y sellos
El análisis de calidad respecto al cumplimiento de los códigos de conducta aborda aspectos muy distintos que debería cumplir un sitio Web, y se dan casos en que el cumplimiento en un área es muy bueno y en otra área es muy bajo. Para cada una de las dimensiones de análisis se presenta en el texto la puntuación obtenida destacando los sitios Web de cumplimiento alto.
A manera de síntesis, Fisterra es el sitio que cubre más dimensiones de análisis de los criterios de los códigos de conducta de manera sobresaliente (6 de 7): transparencia, política editorial, autoría, actualización, protección de datos personales, y accesibilidad. Le siguen según la sumatoria del cumplimiento de las distintas dimensiones sitios como: pulevasalud.com, viatusalud.com, Medlineplus.gov, respirar.org, cdc.gov, lasalud.com, 4woman.gov, noah-health.org, y cancer.gov.
Calidad de contenido
Con relación a la calidad de contenido destacan como los que mejor informan Medlineplus, fisterra, el Ministerio de Sanidad y Consumo español y el Instituto de Salud de EE.UU, con tres aspectos sobresalientes de cuatro evaluados. Con dos aspectos sobresalientes se encuentran: familydoctor, lasalud, la Organización Mundial de la Salud y el Centro de Información de Salud de la mujer del Instituto de Salud de EE.UU.
Relación entre calidad según códigos de conducta y contenido
Las dimensiones de calidad según códigos de conducta que se correlacionan positiva y significativamente (p < 0,05) con mayor número de otras dimensiones fueron la política editorial (que se correlaciona con todas las dimensiones excepto la responsabilidad), y la accesibilidad (que se correlaciona con todas las dimensiones excepto con la transparencia). Además, estas dos dimensiones se correlacionan directa y significativamente con la calidad de los contenidos. En el análisis de regresión logística, tanto la política editorial como la accesibilidad se asociaron directa y significativamente a la información sobre los riesgos de la TH.
Conclusiones
• Los sitios Web que mejor calidad presentaron en este estudio según la información sobre riesgos, la política editorial, la accesibilidad y la sumatoria de las dimensiones de calidad de acuerdo a códigos de conducta fueron:
1. Sitios dirigidos al colectivo general de pacientes
www.fisterra.com
medlineplus.gov/spanish
www.lasalud.com
www.pulevasalud.com
www.cdc.gov/spanish/
www.noah-health.org
2. Sitios dirigidos a colectivos específicos de pacientes
www.4woman.gov/spanish
www.respirar.org
www.cancer.gov/español
www.todosvacunados.com
www.diabetesjuvenil.com
www.espalda.org
www.aepap.org
• En el análisis de calidad de acuerdo a los códigos de conducta, Fisterra es el sitio que cubre más dimensiones de manera sobresaliente (6 de 7): transparencia, política editorial, autoría, actualización, protección de datos personales, y accesibilidad. Le siguen según la sumatoria del cumplimiento de las distintas dimensiones sitios como: pulevasalud.com, viatusalud.com, Medlineplus.gov, respirar.org, cdc.gov, lasalud.com, 4woman.gov, noah-health.org, y cancer.gov.
• Con respecto a la calidad de contenido destacan como los que mejor informan Medlineplus, fisterra, el Ministerio de Sanidad y Consumo Español y el Instituto de Salud de EE.UU., con tres aspectos sobresalientes de cuatro evaluados. Luego con dos aspectos sobresalientes se encuentran, familydoctor, lasalud, la Organización Mundial de la Salud y el Centro de Información de Salud de la Mujer del Instituto de Salud de EE.UU.
• Dentro de las dimensiones de análisis según los criterios de los códigos de conducta, la política editorial y la accesibilidad destacan por asociarse a mejor información sobre riesgos de la terapia hormonal.
• Las dimensiones de calidad según códigos de conducta se asocian mayormente a la calidad de la información sobre los riesgos de la TH, y secundariamente a la información sobre los beneficios de la misma. Por otra parte ninguna de estas dimensiones se asoció a una mayor o menor presentación ni de beneficios no demostrados de la terapia hormonal ni de medidas preventivas.
Introduction
The dissemination of biomedical knowledge over the Internet has meant that citizens now have an unprecedented range of information at their disposal. Although this might encourage greater autonomy on the part of citizens, the uncertainty involved in searching for quality information has led healthcare personnel, managers and others working in healthcare to feel they should provide their patients with assistance in this process.
There are different approaches to how the quality of Websites providing health-related information over the Internet can be judged. For instance, there are ad hoc questionnaires, filters and user’s guides, quality seals, third party accreditation, codes of conduct, peer recommendations and page ranking.
Aims
General aim
• To pinpoint Websites that provide quality-checked healthrelated information that could be included as links on the Website of the Andalusian Agency for Healthcare Technology Assessment (AETSA).
Specific aims
• To define a listing of Websites providing quality health-related information intended for a general group of patients and a further list aimed at specific patient groups (diabetics, the elderly, etc).
• To assess the quality of the Websites in line with the criteria set down in codes of conduct and other measures such as popularity of links, Google’s page ranking and the presence of quality seals.
• To assess the quality of the content on the Websites selected in the final listing.
• To examine whether there is a clear relationship between quality in line with codes of conduct and the quality of Webpage content.
Methods
The first aim was pursued through consultation with a panel of experts. A group of 24 experts with a range of profiles (National Health Service managers, experts in evidence-based medicine, members of civic associations, etc.) were contacted by email and were asked to propose a list of 20 Websites selected on their own criteria, 10 providing general health information, and the other 10 targeted at specific patient groups. The sites that were proposed spontaneously by more than two experts were then subjected to quality assessment.
A descriptive study was performed for the remaining aims (quality assessment), using 2 questionnaires devised for this purpose. Based on these questionnaires, the sites selected were assessed independently by three evaluators.
The first questionnaire assessed the degree of compliance with the most relevant codes of conduct, i.e. 1) the American Medical Association Code; 2) The e-Health Code of Ethics from the Internet Health Coalition; 3) The Health Summit Working Group Code; and 4) The e-Europe 2002 Code, as well as initiatives by OECD and e-Confidence for consumer protection on the Internet. Based on the above, the different factors for analysis were defined, i.e. transparency, editorial policy, authorship, updates, personal data protection, Website liability cover and accessibility. A measure for popularity according to links, Page rank and the presence of quality seals was also included.
A second questionnaire was used to assess content quality, based on scientific evidence on hormone replacement therapy for menopause and preventive or palliative measures for symptoms associated with this stage in life, using several factors: risks, benefits and unproven benefits of hormone replacement therapy (HRT) and any recommendations to prevent or palliate menopause-related symptoms.
Analysis
Compliance of the items for each area examined was assessed in absolute terms (number of items in compliance), in relative terms (percentage) and in quartiles. Those Websites meeting these criteria up to between the 25th and 75th percentiles were considered as the mean compliance, while low or high compliance Websites were those scoring below the 25th percentile or above the 75th percentile, respectively. Interevaluator agreement for the areas most closely related to the quality of content was also examined.
In order to establish whether there is a clear link between codes of conduct and the quality of content, a bi-variant correlation test (Pearson coefficient) between quality in line with codes of conduct and information on hormone replacement therapy and climacterium was run for the continuous variables. A bi-variant, logistic regression analysis was performed for the dichotomous variables (very good compliance or low compliance).
A list of the best Websites was drawn up by taking into account those components in the code-of-conduct quality assessment that were linked to quality of content in the bi-variant analysis. Any sites providing information on any of these dimensions but scoring under the 25th percentile of the sample were excluded from the list. Finally, the total score for compliance with the various components for code of conduct-based quality assessment was used to distinguish between two sites with the same compliance rate in these areas and also for those sites offering no information on HRT.
Main outcomes
Expert consultation
The consultation with experts gave rise to two lists of Websites providing health information, one for general groups of patients listing 25 Websites and a second list with 21 sites for specific patient groups.
Quality in line with codes of conduct, page rank and quality seals:
Quality assessment based on compliance with codes of conduct entails a wide variety of very diverse issues that should be covered by a Website. Cases were seen of very good compliance in one area and low compliance in another. The scores for each site for each of the components assessed are shown in the text, with special emphasis on the high-compliance Websites.
In summary, Fisterra is the Website that covers the highest number of components (6 out of 7) in the code of conduct criteria assessment with top scores: transparency, editorial policy, authorship, updates, personal data protection and accessibility. This site is followed, according to the total compliance score for the various components, by sites such as: pulevasalud.com, viatusalud.com, Medlineplus.gov, respirar.org, cdc.gov, lasalud.com, 4woman.gov, noah-health.org and cancer.gov.
Quality of contents:
The following Websites are outstanding in quality of content providing the best information: Medlineplus, fisterra, the Spanish Ministry of Health and Consumer Affairs and the US Institute of Health, with three top scores out of the four areas assessed. With two top scores for issues were: familydoctor, lasalud, the World Health Organisation and the Women’s Health Information Centre at the US Institutes of Health.
Relationship between quality in compliance with codes of conduct and content:
The two components for quality in compliance with codes of conduct that bear a positive and statistically significant correlation (p < 0.05) with a larger number of the remaining factors were editorial policy (that correlated with all dimensions except for liability) and accessibility (that correlated with all dimensions except transparency). Also, these two dimensions have a significant, direct correlation with the quality of content. In the logistic regression analysis, both editorial policy and accessibility had a significant, direct association with information on the risks of hormone replacement therapy.
Conclusions
• The best quality Websites found in this survey according to the information provided on risks, editorial policy, accessibility and the total score for quality components in line with codes of conduct were:
1. Sites targeting general groups of patients
www.fisterra.com
medlineplus.gov/spanish
www.lasalud.com
www.pulevasalud.com
www.cdc.gov/spanish/
www.noah-health.org
2. Sites targeting specific groups of patients
www.4woman.gov/spanish
www.respirar.org
www.cancer.gov/español
www.todosvacunados.com
www.diabetesjuvenil.com
www.espalda.org
www.aepap.org
• In the quality assessment according to compliance with codes of conduct, Fisterra is the site that best covers most areas (6 out of 7): transparency, editorial policy, authorship, updates, personal data protection and accessibility. According to the total score for compliance with different components, Fisterra is followed by sites such as: pulevasalud.com, viatusalud.com, Medlineplus.gov, respirar.org, cdc.gov, lasalud.com, 4woman.gov, noah-health.org and cancer.gov.
• As for the quality of contents, the Websites providing the best information were Medlineplus, fisterra, the Spanish Ministry of Health and Consumer Affairs and the US National Health Institutes, with three out of the four areas scoring very high. With only two top scores were: familydoctor, lasalud, the World Health Organisation and the Women’s Health Information Center at the US National Health Institutes.
• Of all the components for assessment based on compliance with criteria set in codes of conduct, editorial policy and accessibility are closely linked to better information on the risks of hormone relacement therapy.
• Quality components in line with codes of conduct are more closely associated with quality of information on the risks of HRT and, secondarily, to information on the benefits of HRT. However, none of these dimensions was associated with a greater or lesser presence of either unproven benefits of hormone replacement therapy or preventive measures.
The dissemination of biomedical knowledge over the Internet has meant that citizens now have an unprecedented range of information at their disposal. Although this might encourage greater autonomy on the part of citizens, the uncertainty involved in searching for quality information has led healthcare personnel, managers and others working in healthcare to feel they should provide their patients with assistance in this process.
There are different approaches to how the quality of Websites providing health-related information over the Internet can be judged. For instance, there are ad hoc questionnaires, filters and user’s guides, quality seals, third party accreditation, codes of conduct, peer recommendations and page ranking.
Aims
General aim
• To pinpoint Websites that provide quality-checked healthrelated information that could be included as links on the Website of the Andalusian Agency for Healthcare Technology Assessment (AETSA).
Specific aims
• To define a listing of Websites providing quality health-related information intended for a general group of patients and a further list aimed at specific patient groups (diabetics, the elderly, etc).
• To assess the quality of the Websites in line with the criteria set down in codes of conduct and other measures such as popularity of links, Google’s page ranking and the presence of quality seals.
• To assess the quality of the content on the Websites selected in the final listing.
• To examine whether there is a clear relationship between quality in line with codes of conduct and the quality of Webpage content.
Methods
The first aim was pursued through consultation with a panel of experts. A group of 24 experts with a range of profiles (National Health Service managers, experts in evidence-based medicine, members of civic associations, etc.) were contacted by email and were asked to propose a list of 20 Websites selected on their own criteria, 10 providing general health information, and the other 10 targeted at specific patient groups. The sites that were proposed spontaneously by more than two experts were then subjected to quality assessment.
A descriptive study was performed for the remaining aims (quality assessment), using 2 questionnaires devised for this purpose. Based on these questionnaires, the sites selected were assessed independently by three evaluators.
The first questionnaire assessed the degree of compliance with the most relevant codes of conduct, i.e. 1) the American Medical Association Code; 2) The e-Health Code of Ethics from the Internet Health Coalition; 3) The Health Summit Working Group Code; and 4) The e-Europe 2002 Code, as well as initiatives by OECD and e-Confidence for consumer protection on the Internet. Based on the above, the different factors for analysis were defined, i.e. transparency, editorial policy, authorship, updates, personal data protection, Website liability cover and accessibility. A measure for popularity according to links, Page rank and the presence of quality seals was also included.
A second questionnaire was used to assess content quality, based on scientific evidence on hormone replacement therapy for menopause and preventive or palliative measures for symptoms associated with this stage in life, using several factors: risks, benefits and unproven benefits of hormone replacement therapy (HRT) and any recommendations to prevent or palliate menopause-related symptoms.
Analysis
Compliance of the items for each area examined was assessed in absolute terms (number of items in compliance), in relative terms (percentage) and in quartiles. Those Websites meeting these criteria up to between the 25th and 75th percentiles were considered as the mean compliance, while low or high compliance Websites were those scoring below the 25th percentile or above the 75th percentile, respectively. Interevaluator agreement for the areas most closely related to the quality of content was also examined.
In order to establish whether there is a clear link between codes of conduct and the quality of content, a bi-variant correlation test (Pearson coefficient) between quality in line with codes of conduct and information on hormone replacement therapy and climacterium was run for the continuous variables. A bi-variant, logistic regression analysis was performed for the dichotomous variables (very good compliance or low compliance).
A list of the best Websites was drawn up by taking into account those components in the code-of-conduct quality assessment that were linked to quality of content in the bi-variant analysis. Any sites providing information on any of these dimensions but scoring under the 25th percentile of the sample were excluded from the list. Finally, the total score for compliance with the various components for code of conduct-based quality assessment was used to distinguish between two sites with the same compliance rate in these areas and also for those sites offering no information on HRT.
Main outcomes
Expert consultation
The consultation with experts gave rise to two lists of Websites providing health information, one for general groups of patients listing 25 Websites and a second list with 21 sites for specific patient groups.
Quality in line with codes of conduct, page rank and quality seals:
Quality assessment based on compliance with codes of conduct entails a wide variety of very diverse issues that should be covered by a Website. Cases were seen of very good compliance in one area and low compliance in another. The scores for each site for each of the components assessed are shown in the text, with special emphasis on the high-compliance Websites.
In summary, Fisterra is the Website that covers the highest number of components (6 out of 7) in the code of conduct criteria assessment with top scores: transparency, editorial policy, authorship, updates, personal data protection and accessibility. This site is followed, according to the total compliance score for the various components, by sites such as: pulevasalud.com, viatusalud.com, Medlineplus.gov, respirar.org, cdc.gov, lasalud.com, 4woman.gov, noah-health.org and cancer.gov.
Quality of contents:
The following Websites are outstanding in quality of content providing the best information: Medlineplus, fisterra, the Spanish Ministry of Health and Consumer Affairs and the US Institute of Health, with three top scores out of the four areas assessed. With two top scores for issues were: familydoctor, lasalud, the World Health Organisation and the Women’s Health Information Centre at the US Institutes of Health.
Relationship between quality in compliance with codes of conduct and content:
The two components for quality in compliance with codes of conduct that bear a positive and statistically significant correlation (p < 0.05) with a larger number of the remaining factors were editorial policy (that correlated with all dimensions except for liability) and accessibility (that correlated with all dimensions except transparency). Also, these two dimensions have a significant, direct correlation with the quality of content. In the logistic regression analysis, both editorial policy and accessibility had a significant, direct association with information on the risks of hormone replacement therapy.
Conclusions
• The best quality Websites found in this survey according to the information provided on risks, editorial policy, accessibility and the total score for quality components in line with codes of conduct were:
1. Sites targeting general groups of patients
www.fisterra.com
medlineplus.gov/spanish
www.lasalud.com
www.pulevasalud.com
www.cdc.gov/spanish/
www.noah-health.org
2. Sites targeting specific groups of patients
www.4woman.gov/spanish
www.respirar.org
www.cancer.gov/español
www.todosvacunados.com
www.diabetesjuvenil.com
www.espalda.org
www.aepap.org
• In the quality assessment according to compliance with codes of conduct, Fisterra is the site that best covers most areas (6 out of 7): transparency, editorial policy, authorship, updates, personal data protection and accessibility. According to the total score for compliance with different components, Fisterra is followed by sites such as: pulevasalud.com, viatusalud.com, Medlineplus.gov, respirar.org, cdc.gov, lasalud.com, 4woman.gov, noah-health.org and cancer.gov.
• As for the quality of contents, the Websites providing the best information were Medlineplus, fisterra, the Spanish Ministry of Health and Consumer Affairs and the US National Health Institutes, with three out of the four areas scoring very high. With only two top scores were: familydoctor, lasalud, the World Health Organisation and the Women’s Health Information Center at the US National Health Institutes.
• Of all the components for assessment based on compliance with criteria set in codes of conduct, editorial policy and accessibility are closely linked to better information on the risks of hormone relacement therapy.
• Quality components in line with codes of conduct are more closely associated with quality of information on the risks of HRT and, secondarily, to information on the benefits of HRT. However, none of these dimensions was associated with a greater or lesser presence of either unproven benefits of hormone replacement therapy or preventive measures.