질문과 답변
소프트웨어 오토핫키를 이용한 웹 크롤링 문의드립니다.
2023.11.06 14:38
안녕하세요.
오랜만에 질문하나 드리겠습니다.
실력이 없다보니 웹을 보고 따라해봐도 도저희 해결되지 않네요
먼저 아래는 인터넷을 보고 정말 약간의 코드만 수정한 소스입니다.
test := ComObjCreate("WinHTTP.WinHTTPRequest.5.1")
test.Open("GET", "https://www.kead.or.kr/bbs/deptgongji/bbsPage.do?menuId=MENU0895")
test.Send()
MsgBox, % test.ResponseText()
위 코드 실행 후 메시지 박스의 내용을 보면 제가 원하는 테이블 정보가 나오지 않습니다.
페이지 내에 테이블은 하나인데 위 코드로는 나타나지 않네요.
그런데
https://apsalman.tistory.com/80
님께서 만들어 배포해주신 프로그램을 이용하면 원하는 정보까지 나오는걸 확인할 수 있었습니다.
매번 사이트 방문하여 공지사항의 정보를 확인하는게 복잡하여 몇가지 사이트를 위와같이 크롤링하여 화면에 띄우고 한번에 보고자 합니다.
질문 1
위 코드와 같이 웹 사이트의 정보를 가져올 때 무슨 문제로 모든 정보가 들어오지 않는지요
질문2
모든 정보를 가져왔을 때 공지사항의 테이블 정보만 가져오는건 어떻게 구현하는지 궁금합니다.
예를들어 블럭을 씌워 가져오는지 regexmatch나 regexreplace등으로 파싱하여 가져오는지등
모르는게 많다보니 질문도 많네요
고수님들 조언 기다리겠습니다.
감사합니다.
메세지 박스가 작아서 출력된 전체 내용을 볼수가 없는것이지요
메세지 박스 대신 clipboard로 출력을 해서 내용을 확인해보세요
2. Autohotkey에서 정규식 regexmatch 이용해서 추출하고 regexreplace를 이용해서 추출한 데이터를 처리해주시면 됩니다