Cache-aware load balancing vs. cooperative caching for distributed search engines
Visualitza/Obre
Estadístiques de LA Referencia / Recolecta
Inclou dades d'ús des de 2022
Cita com:
hdl:2117/6502
Tipus de documentText en actes de congrés
Data publicació2009-06-25
EditorIEEE Computer Society Publications
Condicions d'accésAccés obert
Tots els drets reservats. Aquesta obra està protegida pels drets de propietat intel·lectual i
industrial corresponents. Sense perjudici de les exempcions legals existents, queda prohibida la seva
reproducció, distribució, comunicació pública o transformació sense l'autorització del titular dels drets
Abstract
In this paper we study the performance of a distributed search engine from a data caching point of view. We compare and combine two different approaches to achieve better hit rates: (a) send the queries to the node which currently has the related data in its local memory (cache-aware load balancing), and (b) send the cached contents to the node where a query is being currently processed (cooperative caching). Furthermore, we study the best scheduling points in the query computation in which they can be reassigned to another node, and how this reassignation should be performed. Our analysis is guided by statistical tools on a real question answering system for several query distributions, which are typically found in query logs.
CitacióDominguez, D.; Pérez-Casany, M.; Larriba, J. Cache-aware load balancing vs. cooperative caching for distributed search engines. A: IEEE International Conference on High Performance Computing and Communications. "11th IEEE International Conference on High Performance Computing and Communications". Seül: IEEE Computer Society Publications, 2009, p. 415-423.
ISBN978-0-7695-3738-2
Versió de l'editorhttp://doi.ieeecomputersociety.org/10.1109/HPCC.2009.31
Col·leccions
- DAMA-UPC - Data Management Group de la Universitat Politècnica de Catalunya - Ponències/Comunicacions de congressos [21]
- Departament de Matemàtiques - Ponències/Comunicacions de congressos [1.080]
- Departament d'Arquitectura de Computadors - Ponències/Comunicacions de congressos [1.954]
- GREMA - Grup de Recerca en Estadística Matemàtica i les seves Aplicacions - Ponències/Comunicacions de congressos [26]
Fitxers | Descripció | Mida | Format | Visualitza |
---|---|---|---|---|
Cache-aware load.pdf | 334,2Kb | Visualitza/Obre |