본 연구는 알고리즘의 편향성 또는 공정성 문제와 관련하여, 알고리즘 운영 결과를 바탕으로 검증하는 책무성 기반 검증의 필요성을 제기한다. 근간에 사회적으로 주목 받았던 알고리즘 검증 관련 이슈들을 살펴보면, 운영 기관이 알고리즘의 내용을 설명하는 투명성을 추구하면서 알고리즘이 특정한 결과를 유도하지 않는다는 방식의 해명이 주를 이루고 있다. 그리고 이 과정에서 투명성과 책무성을 실천하기 위해 노력했음을 역설하기도 한다. 그러나, 본 연구에서는 알고리즘의 내용이 특별한 설명없이 조용히 변경되어 운영된 사례를 실제 데이터를 통해 살펴보면서 알고리즘 검증은 투명성 설명으로만은 부족하며 알고리즘 적용 후 나타나는 결과 및 알고리즘 변경에 대한 끊임없는 설명이 동반되는 책무성 기반 논의가 중요하다는 점을 논증했다. 최근 네이버는 한 시민단체의 문제제기 이후 선택적으로 이미지 검색 결과를 변경하였는데, 변경 내용이나 이유에 대해 아무런 설명을 제공하지 않고 있다. 이에 본 연구에서는 알고리즘 변경 전후의 이미지 검색 결과를 수집하여 알고리즘이 어떤 방식으로 변경되었는지 추정하였다. 분석 결과, 이미지 검색 알고리즘이 개선된 것이 아닌, 문제가 된 항목들의 일부만 ‘복합어 검색 결과로의 결과 교체’, ‘유사어 검색 결과로의 대체’, 그리고 ‘자동완성 검색어로의 대체’가 이루어진 것을 확인했다. 이 결과는 알고리즘 자체 투명성 기반 검증만으로는 알고리즘의 편향성 검증은 불충분하다는 점을 보여줌과 동시에 이와 관련된 사회적 논의의 필요성을 제기하고 있다. 본 연구는 향후 알고리즘 검증이 투명성 중심이 아닌 책무성을 기반으로 하여 알고리즘이 작동한 결과를 평가하고 모니터링하는 방식으로 이루어져야 할 필요성을 실제 데이터를 통해 확인했다는 데 의의가 있다.