바람직한 자동화란 뭘까에 대해서 잠깐 생각해봤습니다. 자동화라는게, 결국은 복잡하거나, 오래 걸리는 일을 사람 손 거치지 않고 하는 작업이 될텐데요, 그 자체에는 아무도 뭐라 하는 사람이 없을 겁니다. IT 업계에서는 흔히 작업 파이프라인이라는 용어로 작업들의 과정을 정의하고, 이를 자동으로 돌리기 위한 과정을 거치는데요, 저도 회사 있을 때 젠킨스 등을 통해서 자동화 파이프라인을 만들고 편하게 빌드도 하고, 특정 처리를 아침마다 자동으로 돌리곤 했습니다. 근데 자동화도 결국은 하나의 작업이고, 작업에 대해서는 만들 때도 검증이 필요하고 결과물에 대해서도 충분히 괜찮은 퀄리티가 됐는지 확인 작업이 필요하죠. 뭘 자동화 하든 작업에 대해서 그래도 이 파이프라인이 안전한지, 이상한 결과를 내지는 않는지, 자신의 의도대로 동작하고 있는지 정도는 확인하는 절차가 필요하다고 봅니다. 요즘 그록이니, dots니 알아서 해주는 에이전트가 나오면서 관련 작업을 그대로 던져놓고 알아서 되겠지 하시는 분들이 계실 수 있는데, LLM은 항상 확률적으로 동작하는 그 특성상 자동화 작업을 걸어놔도 위험할 수 있습니다. 물론 요즘은 성능이 그리 나쁘지 않기 때문에 큰 문제가 발생할 확률이 매우 높은 편은 아닙니다만, 그래도 본인이 만든 파이프라인이 어떻게 동작하고 있는지, 완전 자동화가 되었다고 해서 손놓고 있기 보다는, 한 번씩 결과물들을 보면서, 문제 없이 돌아가고 있는지, 잘못된 결과나 큰 문제로 이어질 수 있는 결과물로 가고 있지는 않은지 항상 경계해야 합니다. 실제로 파이프라인을 잘 만들어놔도 엣지케이스들은 항상 존재할 수 있습니다. 언제는 3개월간 잘 돌아가던 자동화 시스템이 갑자기 라이브 도중에 문제 터져서 잘 돌아가던 게임이 화면 전체가 하얗게 나오던 문제가 있어서 사수님이랑 밤샘으로 오류 잡았던 기억이 있네요... 얼마나 죄송하던지;; 저도 문제 덩어리 작업물들 많이 만들곤 하지만, 그래도 마음 한 켠에는, 주의해야지라는 맘을 가지고 작업하고 있습니다. 다들 관련 작업하시는 분들은 조심해서 안전하게 작업하도록 합시다~!