기존의 Ontology를 이용한 이미지 검색 시스템이나 간단한 구조를 가진 메타데이터 기반의 분산 이미지 검색 시스템들의 단점들을 극복하기 위해 다양한 이미지 제공자들의 자율성을 보장하면서, Semantic 기반의 이미지 검색을 지원하는 분산 시각미디어 검색 프레임워크인HERMES(The Retrieval Framework for Visual Media Service)가 제안되었다. 제안된 프레임워크에서는 서비스를 사용하는 다수 사용자들이 Broker서버에 동시에 접속했을 경우 발생하는 Overhead에 대한 문제를 해결 할 수 없었기 때문에 성능의 저하와 확장성을 고려할 수 없는 문제를 안고 있다. 본 논문에서는 다수의 동시 사용자들이 접속했을 경우에도 성능의 저하없이 비슷한 수준의 서비스를 제공하기 위해서 Broker서버를 증설하여 부하를 분산 시킬 수 있는 Load Balancing 시스템을 제안한다. Broker와 Provider서버의 상태를 감시하고, 각각의 Broker서버 내부 컴포넌트의 수행시간을 측정할 수 있는 Monitoring 시스템을 구현한다. Monitoring 시스템을 통하여 수집된 각 Broker서버의 데이터를 Load Balancer가 전달받아 Broker서버들에 대한 우선순위를 결정하는 테이블을 만든다. 사용자로부터 Query를 입력받는 User Interface는 Broker서버의 목록 테이블을 참조하여 다수의 Query 수행을 여러 서버로 분산처리하게 함으로써 성능에 대한 신뢰성을 향상 시킬 수 있다. 기존의 스케줄링 방식들과 비교실험을 통하여 제안하는 Load Balancing 시스템의 스케줄링기법이 빠르다는 것을 보여준다.