서울시를 비롯하여 지방 행정 업무에도 인공지능의 물결이 본격적으로 몰려오고 있다. 최근 서울시를 중심으로 GPT 등 대규모 언어모델(LLM) 기반 AI 기술이 행정에 도입되며, 민원 대응부터 문서 작성, 규정 질의까지 공공 업무의 자동화와 효율화가 빠르게 진행되고 있다.

최근 서울시를 비롯하여 전국 지방정부와 면사무소에서도 LLM 기술이 본격적으로 도입되어, 공공행정의 혁신이 빠르게 진행되고 있다. 단순한 민원 응대에서 복잡한 행정 문서 작성에 이르기까지, AI 기술이 공무원의 손과 머리를 돕는 역할을 하고 있다.

1. LLM이란 무엇인가?

LLM은 대규모 언어 모델(Large Language Model)의 약자로, 방대한 양의 텍스트 데이터를 학습하여 인간의 언어를 이해하고 생성하는 데 사용되는 인공지능 모델을 말한다. LLM은 트랜스포머 모델과 같은 딥러닝 기술을 기반으로 하며, 텍스트 생성, 번역, 질의응답, 콘텐츠 요약 등 다양한 자연어 처리(NLP) 작업을 수행할 수 있다.

2. 서울시에 도입된 AI, ‘챗봇 2.0 사업’

서울시가 추진 중인 ‘챗봇 2.0’ 프로젝트는 단순한 상담형 챗봇을 넘어, 생성형 AI를 통한 ‘AI 행정지원 체계’로의 전환을 목표로 한다. 이 시스템은 대시민 응대뿐 아니라 내부 행정 처리까지 아우르는 지능형 서비스로 확장되고 있다. 서울시는 외부 API 기반이 아닌 내부 폐쇄망에서 운영되는 LLM 시스템을 도입했다. 민감한 공공 데이터를 보다 안전하게 처리할 수 있도록 설계되었다. 특히 한국어 행정 언어와 업무 절차에 특화된 학습을 통해, 실무자들이 사용하는 전문 용어와 문체까지 자연스럽게 반영한다는 점에서 타 AI 기술과 차별화된다.

서울시는 이를 위해 올해 중 고성능 GPU 서버(H200 8GPU)를 도입하고, 내년까지 3대의 GPU 서버를 추가로 확보할 계획이다. 이는 독립적인 AI 연산 인프라를 통해 폐쇄망 내에서도 고품질 AI 서비스를 지속적으로 제공하기 위함이다.

3. 행정 업무에 LLM을 도입하면 무엇이 달라질까?

챗봇 2.0 시스템이 본격적으로 작동하면, 공무원들은 반복적인 문서작업이나 규정 조회, 민원 응답 업무에서 해방될 수 있다. 이에 따라 행정 효율성과 대응 속도가 대폭 향상될 것으로 기대된다. 단순한 디지털 전환을 넘어, 행정 조직 자체의 일 방식과 구조까지 혁신하는 전환점으로 평가받고 있다.

LLM 기반 시스템은 단순한 응답을 넘어 맥락 이해에 기반한 민원 분석, 감정 판단, 정책 관련 정보 요약 등 고도화된 기능을 제공한다. 주민이 문의한 내용을 실시간으로 요약하고 관련 정책이나 조례, 담당 부서를 자동으로 연결해주는 기능이 대표적이다. 이전에는 민원인이 다양한 부서를 오가며 겪던 불편함이 사라졌다는 평가다. 특히 노인, 외국인 주민 등 디지털 취약계층에게는 더욱 직관적인 안내를 제공해 포용적 행정 구현에도 기여하고 있다.

4. 대형언어모델 AI를 도입, 행정 업무의 기대효과

서울시가 추진 중인 LLM 기반 AI 행정 시스템은 단순 업무 자동화를 넘어 공공서비스 전반의 혁신을 가능케 한다. 특히 내부 폐쇄망 기반의 독립형 AI 운영은 정보보호와 정확한 대응이라는 두 가지 측면을 동시에 충족시킨다. 공무원의 업무 효율이 향상되고, 시민은 보다 빠르고 정확한 서비스를 제공 받을 수 있게 된다.

결론: 디지털 시대의 새로운 공공서비스 확산

지자체 행정에 AI가 도입되면서, 공공서비스의 접근성과 신뢰성이 한층 강화되고 있다. 서울시의 LLM 기반 AI 행정은 디지털 시대의 새로운 공공서비스 모델로, 다른 지방자치단체로도 확산될 가능성이 높다. 기술의 발전이 행정의 패러다임을 바꾸는 지금, 공공부문에서도 AI는  선택이 아닌 필수가 되었다.