[항해99] Day03. TIL – Key값을 찾아라! Github을 다룰 줄 알아야 진짜 협업이 시작된다!

본 포스팅은 지난 11월에 작성되었습니다

 

⭐ 웹 스크래핑

팀 프로젝트로 서로 해야할 것 들을 나누면서 어쩐지 나도 모르게 메인 페이지와 상세페이지에 걸친 웹 스크래핑 작업을 하게되었다. 다들 해보고 싶은게 있다고 해서 도맡아하게 된 것인다. 그 동안 혼자 독학으로 해보지 못 한 것이여서 조금 둑흔둑흔했다

 

웹 스크래핑(web scraping)이란?

웹 사이트 상에서 원하는 부분에 위치한 정보를 컴퓨터로 하여금 자동으로 추출하여 수집하는 기술을 이야기한다.

그리고 이 용어와 유사한 느낌으로 쓰이는 단어가 웹 크롤링이다. 혼용해서 쓰고 있지만.

웹 크롤링(web crawling) 은 자동화 봇(bot)인 웹 클로러가 정해진 규칙에 따라 여러 개의 웹 페이지를 브라우징하는 것을 의미한다. 내가 한 것은 웹 스크래핑이다. 특정한 웹 페이지에서 특정한 위치의 데이터를 가져왔다. 새로 해보는 것은 언제나 즐겁다 

 그저 추출해서 브라우저에 띄었다는 것만으로도 너무 신나는데, 프로젝트 중간점검 때 멘토님 웹 스크래핑을 어떻게 한건지, db에 넣어서 하는건지, 동기화에 관련된 문제를 물어보시데 머릿속이 완전 백지장이 되었다. 그 어느 하나도 명확하게 대답할 수가 없었다는..

그런 지적이 없었다면 마냥 신나서 뿌듯하게 화면만 보고 있었을 텐데, 어떻게 더 효율적으로 데이터를 가져오고 관리하는 지에 대한 지적은 뒤통수를 맞은 느낌이였음

 

⭐ github 으로 협업하기

이게 진짜 팀프로젝트의 꽃인것 같다! 팀원 나를 포함해서 4명 다 깃헙에 push만 해봤지 브랜치를 만들고, 각자 올리고 merge를 한다는 점은 진짜 손가락이 달달달 –

우리는 모두들 겁을 먹었었고, pyCharm으로 작업하는 것이 너무 낯설어서 명령어를 어떻게 써야할지 조차도 막막하다는 생각을 했었다.

급하게 검색을 해보니 pyCharm은 git과 연동이 되서 너무 편하게~ 브랜치를 생성하고 commit, push, pull을 할 수 있었다.

각자 담당한 부분의 branch를 만들고 함께 merge를 하고 github을 다루니 정말 신세계 오픈 

VSC로 할때는 명령어로해서 답답한 부분이 있었는데 pyCharm으로 하니 세상 편했다 ㅎㅎㅎㅎ

 

 

⭐ 회고

넘나 피곤한 하루였다. 해야할게 많은 것도 있었지만 팀프로젝트를 하다보니 혼자 마음이 급해서 계속 팀원들을 재촉하는 느낌 ㅎㅎㅎ 괜히 팀원들한테 미안했다. 함께 으쌰으쌰인건데, 너무 쪼으는건가 싶어서 ㅎ온라인 수업은 제대로 보지도 못하고 강의자료만 읽고 읽고 또 읽고 것도 필요한 부분만 내가 알고 있는 지식의 한계에서 오는 답답함에 발이 절로 동동했다. 중감점검 이후로 멘토님와 이야기 후 다들 멍  갑자기 해야할 일이 늘어난 것 같고, 해야할 공부도 생각해볼 것도 많아져서 즐거우면서도 힘든 아이러니한 상황이 연출