Note: 기본적으로, AI와의 협업은 개념의 발전 속도를 글로 정리하는 속도가 못 따라가는 경우가 많이 있습니다. 개념을 발전시키고 이를 빠르게 좁혀 구현하는 데까지 걸리는 시간이 매우 짧고, 그 순간의 집중력은 이를 인지하고 AI와 상호작용하며 수행할 수 있게 해 줍니다. 문제는 이러한 단위의 정리가 되어 있지 않아 1주일 정도 지나면 점차 정밀성이 떨어져 문서들을 제대로 다시 확인해야 하는 단점이 있다는 것입니다. 이런 측면에서, 이 글과 이후에 이루어진 개념적 확장에 대한 글은 오히려 실행 후 리포트에 가까운 성격을 띠고 있습니다. 생각해보면 수학자가 AI와 함께 Riemann Hypothesis의 검증을 주장했다는 이야기가 한창 나오고 있는 이 시점에, 혹은 타렌스 타오와 같은 유명한 수학자들도 AI에 의한 소화불량에 대한 이야기를 하는 것들을 보면, 제 의식적 정리속도가 따라가지 못하는것은 자연스러울 수 있습니다만, 그럼에도 불구하고 제가 알 수 있도록 하나씩 정리하려고 하는것은 제가 늘 원하는 방향이라 봅니다. 그래서 오늘도, 시간이 날 때마다 기억에 의존해서 이런 기술적인 부분들을 정리해 둡니다.
- Agentic Workbench Knowledge (wb) 프로젝트의 구현 시작.
최근 2주간 본격적으로 Codex를 사용하여 Agentic AI환경을 구축하고 있었습니다. 프로젝트 이름은 agentic workbench knowledge (wb) 입니다. 즉, 현재 지식공방의 영문 이름은 오히려 Ed’s workbench인데, 이를 따온 바가 있습니다.
일단 이 프로젝트의 시작은 Codex를 활용하여 저에게 유용한 어떠한 AI 환경을 구축하는 데 있습니다. 그런데 막상, Codex를 이래저래 사용해 보면, 가능성과 별개로 부딪히게 되는 여러 가지 문제점이 있습니다.
처음 시작은 그래서 저 연구 맥락을 알면 되지 않을까라는 생각에, 오픈소스(open source)로 공개된 제 논문과 코드 등을 바탕으로 원하던 일을 맡기는 데서 시작이었습니다. 다만, AI와의 토론 및 AI 스스로의 발달에 기대했던, 정말 제가 원하던 연구 자체를 AI가 파고들어 설계하는 것은 생각보다 힘든 일이더라고요.
반면에, 지금 눈에 바로 띄는 부분은 늘 오랫동안 사용했던 일종의 작업환경 템플릿으로서 Agentic AI의 가능성이었습니다. 예시는 간단합니다. Docker로 격리된 작업환경에서 Codex를 통해 제가 어떠어떠한 물리적인 문제를 제시합니다. 그리고 제 preliminary results를 제공한 방법론을 제시해 주면서, 그런데 이러이러한 방법론을 토대로 계산할 수 있을 거라고 생각하고, 또 다른 영역에 대해서 확인하고 싶다는 이야기를 하면, 정말로 깜짝 놀랄 정도 수준으로 조합해서 테스트 가능한 프리셋을 제공해 주더라고요.
이 두 가지 경계의 차이가 결국, 작업 양식과 목적 그리고 그 속의 의사결정의 복잡도에서 나오는 문제라고 봅니다. AI가 첫 번째 유형의 문제를 못 푼다고 한다기보다는 환경을 잘 선택하고, 스스로 발전할 수 있도록 충분한 형태의 의사결정을 내리는 방법에 대한 가이드라인이 필요하다는 생각입니다. 반면에 후자의 경우에는, “적절한 수준의 환경을 기술하고, 적절한 수준의 기술지원을 하고, 적절한 수준의 목표를 정하면” 에이전트들은 지금당장의 수준에서도 매우 빠르고 능숙한 수준에서 이를 수행하고, 제가 원하던 테스트까지 해서 보여준다는 것입니다.
그러면, 지금 이 단계에서 잘 하는 환경들을 만들고, 그에 따라 의사결정의 구조를 좁힐수 있으면, 첫번째 단계에서 하는 문제에 접근할 수 있지 않을까, 그것이 제가 생각하는 지식공방 프로젝트의 핵심입니다. (영문으로는 workbench knowledge라고 이름 짓고 소문자 wb로 분류하기로 했습니다)
- 제 연구 환경에 필요한 것에 대한 구체화, 그리고 기본 Codex에서 이미 가능한 것들의 분석.
제가 원했던 workbench (wb)의 환경은 기본적으로 연구자를 도와주는 논리적 도구들의 집합입니다. 우리는 여러 가지 개념을 구체화하면서 연구를 진행하는 사람으로서, 그 도구는 그 자체도 또 다른 개념을 구체화시킨 결과물이기도 합니다. 우리의 workflow는 그 사람의 연구 역사와 철학을 어느 정도 담고 있습니다. 그러면 AI 시대에 와서, 저는 몇 가지 방향에 대해서 도움을 받으려고 노력해 왔고 지금도 노력 중입니다.
이런 측면에서, 저를 위한, 혹은 더 나아가 연구자를 위한 Agentic AI 도구를 개발한다고 한다면, 이러한 논리적 체계를 도구로서 다룰 수 있게 해야 한다고 보거든요. 재미있는 것은, 이게 또 연구하는 방법론과 비슷하게 느껴지는 점들이 많다는 것입니다. 상당히 많은 자유도에서 제대로 된 질문을 던지는 것은 대부분의 연구를 구체화하는 데 매우 중요합니다.
생각한 wb환경을 구현하기 위해서 터미널에서 AI agent들과 상호문답을 이어가면서 구현하면서 느낀 부분인데, 강력하고 빠른데, 여전히 방대하고 복잡한 프로세스를 체계화 시켜서 구현시키려고 하면 제대로 된 질문을 던져야 한다는 점입니다. 저 스스로 약간의 생각은 있었지만, 실제로 구체화시켜야 되는 사항은 너무나 많아서, 기초공사를 하는 데 생각보다 오랜 시간이 걸렸네요.
재미있는 것은, 다양한 부분에 대한 고려를 하지 않고, agent들에게 이미 어느 정도 만들어진 프로토콜에 대한 프리셋을 준비해 달라고 하면 정말 빠르고 효과적으로 만들어줍니다. 즉 도구로 다루는 입장에서는, 그냥 주로 사용하는 AI도구에 기본 대화를 통해 원하는 주제에 대해서 AI가 충분히 알아들을 수 있게끔 몇가지 중요한 포인트를 짚어주고, 프롬프트를 생성해 달라고 한 다음에 에이전트에 해달라면 목표가 명확하고 구현이 일종의 규격화가 된 문제에 대해서는 금세 수행해줍니다.
예를 들어, Colloid 쪽에서 익숙한 hard sphere의 particle pressure에 대한 계산을 시뮬레이션으로 하나 구현해 달라고 한다면, 그 개념과 흔히들 쓰는 방법론들을 어느 정도 안다고 하더라도, 안정화된 프리셋을 만드는 데 시간이 제법 걸리거든요. AI 이전에도 워낙 오픈소스가 많아져서 비교적 편하지만, 그 말이 기본적인 성질이 검증된 프리셋까지 바로 도달할 수 있다는 이야기가 아닙니다. 그런데 지금 ChatGPT만 사용하더라도 Chat을 통해 문제를 설명하고, 프롬프트를 받습니다. 이를 로컬 Codex에 연결해서 붙여주면, 바로 LAMMPS 같은 거 받아와서 Soft Particles에 대한 Brownian dynamics를 돌려서 softness에 따른 비교적 높은 농도에서의 Carnahan-Starling (CS) equation과의 차이점을 보여주는 것을 20분 안에 셋업해 주더라고요. Monte Carlo로 Hard sphere로 CS와 맞춰주는 것도 비슷한 시간입니다.
물론 여기서는 CS라는 명백한 비교가 가능한 어떠한 모델이 있어서 결과를 바로 볼수있는 장점이 있는데요, 대부분의 경우 한가지 관점으로 비교를 하기 힘들기 때문에 다른 시각에 대한 분석이 필요하다면, 처음 시작 요구서에 포함되어야 합니다. 이러한 요청은, 당연하게도 문제가 덜 선명해질수록 그 복잡도가 높아지게 되는데요, 연구자들 사이에서도 여러가지 방면을 확인하면서 조금씩 좁혀가는 범주를 AI가 그중에 몇가지 방도를 선택했다고 바로 납득될 수 있는 것은 아니지요.
제가 이러한 종류의 테스트를 여러 각도로 했었는데, single porous particle hydrodynamics라든가, 제 Brownian dynamics 코드에 hydrodynamic interactions을 구현하는 부분으로 개선해 주는 것이라든가, 정말 순식간에 해 주거든요. 역시 분석에 대해서는, 일반적으로 확인하는 diffusivity 같은 부분들을 잘 해주는데, anisotropic pair correlation이라든가 혹은 물질을 보는 관점과 물질이 겪은 히스토리에 따라 복잡해질 수 있는 particle gels 같은 경우처럼 관점에 따라 검증이 달라질 수 있는 부분에 대해서는 결국 프롬프트에 그 관점과 필요한 요소까지 모두 구현해야 된다는 부분이 있습니다. 즉, 최소요건에 대한 요구치는 문제가 가지고 있는 애매함과 관련이 깊다고 보입니다.
그런데 정작 제가 연구를 수행할 때 주로 걸리는 형태의 문제는, 결국은 답을 알지 못하는 미지의 영역에 대한 탐구입니다. 그것을 탐구하기 위하여 기존의 도구들을 여러 갈래로 조합하면서, 물리적으로 타당한 형태를 찾아보게 된다는 것이 그 핵심입니다. 그러면, 이런 문제에 대해서 시험해 보면 어떻게 되는가 해보면, 사실 많은 연구자분들이 실험해 보셨겠지만 “제대로 질문을 던지지 않은 상태”에서는 딱히 유의미한 게 안 나와요. 그런데 “제대로 질문을 던지면” 사실상 이론/모델 쪽에서는 중요한 부분이 구현된 것이거든요. 그래서 일종의 아이러니가 생깁니다.
Agentic AI가 효과적으로 작용하기 위해서는, 연구자가 아직 정확하게 구체화하지 못한 공간을 연구자와 에이전트가 함께 탐구할 수 있는 형태가 되어야 합니다. 이러한 문제인식이 제가 wb 프로젝트를 고려할 때 기본적으로 발제한 부분들이고요. 그리고 생각보다 이러한 형태의 문제를 효과적으로 처리하지 못한다는것을 발견했을때, 의외로 연구자로서의 저의 쓸모가 다한것은 아니라는 생각과 동시에, 그렇다면 조금 저한테 도움이 되는 환경을 만들 수 있지 않을까 라는 생각이 들었습니다.
- 구체화한 프로젝트의 밑그림을 공개하기.
대부분의 일은 일단 해보는 게 중요하다고 생각하고요, 또 했으면 작게라도 마무리해서 공개하는 게 좋다고 생각합니다. 이런 측면에서 Docker sandbox에서 open source license로 공개된 저의 논문과 소스 코드를 참조해서 일을 진행했습니다. 그리고 격리된 공간에서 이런저런 테스트를 해 주면서 기본적으로 필요한 부분들을 고려해 보니, 크게 세 가지 정도의 중간자적 도구들이 형성되는 것 같습니다.
첫 번째는 wb-plugins으로서 각종 일에 대한 플러그인들에 해당됩니다. 여기는 명시적으로 installation, session-profile, publication-support, security check 등의 기능들을 수행하는데요 (실제로 기능은 더 많고, 곧 업데이트될 때는 더 방대한 형태의 자료로 구성될 것 같습니다). 예를 들어 Installation의 경우에는 각종 도구를 그대로 받아오는 것이 아니라, 거기에 대한 논리적인 보안 검사를 수행한 다음에, 우리 프로젝트의 맥락에 맞춰서 받아오는 것을 의미합니다.
이는 각 도구들이 내부의 맥락에 맞춰서 구성될 필요가 있다는 것을 의미합니다. 제가 개발한 다른 논리적 도구들 역시, 내부로 들어올 때는 이러한 installation 과정을 거칩니다. 그리고, 내부적으로 이곳저곳으로 활용되면서, 정교하게 다듬어지는 과정을 거치면, 다시금 원래 도구에 최대한 맥락적 정보를 배제하고 다시금 어떠어떠한 형태가 효과적이었다는 것에 대한 기록을 남깁니다. 그러면 원래 도구에서는 격리된 환경에서 다시금 해당 부분을 흡수해서 도구를 업데이트합니다. 현재는 그러한 iterative한 발전적 구조 위에서 개발되고 있습니다.
두 번째는, wb-templates로서 실제 applications을 구현하기 전에 그 원형이 되는 요소인데요. 예를 들어 저의 plot style에 대한 예시들이나, 제 원래 공개된 연구 소스 코드를 바탕으로 향후 에이전트가 덧붙이기 편한 형태로 가공한 소스코드들이 포함됩니다. 이 자체가 결과물이자 templates로서, 나중에 정말로 필요한 부분들을 진행할 때 해당 부분들을 가져와서 사용할 수 있도록 해야 됩니다. 중요한 부분이 이 templates 자체는 실제로 물리적인 해석에 대한 단위검사를 제공할 수 있어야 된다고 보는데요, 새로운 맥락에 이를 가져다 붙이고 결과가 그럴듯하다고 해서 그것이 물리적으로 검증되었다고 보기 힘든 부분이거든요. 매우 효과적인 것은 위와 같은 물리적으로 검증된 모델이 있는 레퍼런스들인데, 그런 것들을 구현하려고 노력 중입니다. 다시말해서, 제 소스코드를 현대화시키고 다른 형태나 혹은 Machine Learning을 추후에 제공하기 위한 인터페이스까지 제공하는 등의 변화는 에이전트들이 상당히 빠르게 진행해주는데, 어떤 물리량을 어떻게 비교하면서 교차검증하는지에 대해서는 템플릿을 개발하면서 구체화 할 필요가 있습니다.
세 번째 요소가 wb-applications인데요, 이는 실제로 이러한 체계를 통해 구현한 부분입니다. 여기 도구들을 활용해 몇 가지 물리적 개념들을 빠르게 수치해석이나 시뮬레이션으로 구현해서, 어떠한 계산을 하기 위한 토대를 제공하는 데 목표가 있습니다. 여기에는 템플릿에서 제공되는 기본적인 물리 검사를 바탕으로, 해당 응용 영역에 맞추어서 추가로 검사할 부분들을 가지고 있지요.
물론 wb-applications에서는 이러한 연구적인 요소를 위한 논리적인 도구들만 포함되는 것이 아니라, GUI 같은 형태를 구현한 요소도 있습니다. 지난 며칠 동안 한참 에이전트들과 씨름하고 있고, 여전히 구현 중인 것이 wb-studio라는 프로젝트인데요, 원래는 wb-applications을 기초로 시작되어서, 기존의 논리 도구들을 엮어서 우리가 시각적으로 알 수 있는 Tool Frame이라는 개념으로 정리하고요, 이들을 묶어서 사용자 환경을 Workspace라는 개념으로 제공하는 것이 목표입니다. 다만, GUI 구현에 생각보다 많은 노력이 들고 있어서 여러 방향을 탐색 중입니다.
이러한 프로젝트를 진행하면서 언급하지 않은 여러가지 개념들을 구현하고 있었는데, Agentic AI와 함께 설계하고 빠르게 나아가는것 자체는 좋으나, 단점은 생각에 대한 정리를 충실히 가지지 못하는 부분인것 같습니다. 그런 측면에서 일단 1주일 전에 공개했던 자료 (https://github.com/gwpark-git/agentic-workbench-knowledge.git)를 여기에 링크해둡니다. 이 시점에 어떠한 생각으로 프로젝트가 진행되었는지, 간략하게 나열하였고, wb-templates과 wb-applications의 두 다른 프로젝트는 아직 프로토타입이 공개되지는 않았지만, 여기에 대한 기본적인 개념에 대한 설명이 있습니다.
또한 해당 페이지는 비록 영문으로 작성되었으나, 제가 Agentic AI로 작업하면서 생각한 부분들을 매우 informal한 편지 형태로 정리한 부분이 있어서 어떠한 개념과 접근을 가지는지 잘 보여준다고 생각되네요.
Leave a Reply