Implementing remote procedure calls rev2

Implementing Remote Procedure
Calls
Andrew D. Birrell, Bruce Jay Nelson
Xerox Palo Alto Research Center

 Local Procedure Call (LPC)
 Single Computer 안의 프로그램에서 Control 과 Data 를
이동 시킬 수 있는 잘 알려진 방식  함수 호출
 Remote Procedure Call (RPC)
 Network 로 연결되어 Address Space 가 서로 다른
컴퓨터들 간에 Control 과 Data 를 이동 시킬 수 있도록
Local Procedure Call 방식을 확장
: 분산 Application 을 구축 하려는 프로그래머들에게 쉽고 친숙한
방식 제공
Introduction
Background

 RPC 를 구현 하기 위해 고려해야 했던 것들 (for Cedar Project)
 전송 오류 및 원격 컴퓨터의 상태 등에 대한 정확한 Semantic
정의
 Call by reference(address) 에 대한 처리 방법
 기존 프로그래밍 환경으로의 통합 방법
 RPC 를 하기 위한 Callee 를 찾는 방법: Binding
 효율 적인 Control 및 Data 전송 방법
 보안에 대한 고려
 이 논문에서는 위 고려 사항들 중에 주요 결정 사항과
Binding 방법, 전송 계층 통신 프로토콜에 대한 내용을
포함한다.
Introduction
Background (cont’d)

…
인자 N
…
인자 1
Return 주소
이전 Frame Pointer (FP) 값 저장
지역 변수들
Introduction
Local Procedure Call
주소
증가
방향
현재 FP
Stack Bottom
Stack Top
• 동일한 Machine 안에서의
함수 호출은, Stack 을 이용해
Activation Record 를 관리
하면서 처리 됩니다.

Introduction
Remote Procedure Call
Client Server
RPC Runtime
Binder
Stub Stub
1
2
3 4
5
6
 Stub 함수를 통해 인자 및 반환 값을 주고 받습니다.
 Stub 함수 호출은 LPC 와 같이 프로그램에서 호출 될 때 스택이 사용되지만,
그 안에서는 인자와 반환 값을 주고 받기 위한 여러 일을 수행합니다.

 Cedar programming environment
Xerox research internetwork
 Cedar 는 single-user workstation 사용됨(서버 구축에도)
 Dorado Machine (24 bits virtual address , 80 MB disk)
 3 Mbit or 10 Mbit (packet round-trip time: 120 us) Ethernet
 PUP family protocols
 simple unreliable datagram
 reliable flow controlled byte streams
Introduction
Environment

 PARC Universal Packet (PUP)
 Xerox PARC 연구팀에서 시작 (1970년대 중반)
 Xerox Network Systems (XNS) 의 기본 프로토콜로 채택 (1980년대)
 TCP/IP 와 유사
 PUP 네트워크 주소의 구성
 8-bit network number
8-bit host number
16-bit socket number
 Rendezvous and Termination Protocol (RTP) 로 연결을 맺고, 이 후
Byte Stream Protocol (BSP) 을 통해 데이터 전달
 동일한 Ethernet 상에서는 저 수준 RAW Ethernet packet 포맷 사용
가능
Introduction
Environment (cont’d)

 주로 Mesa 언어를 사용
 1970 년대 후반 Xerox Palo Alto Research Center 에서
개발
 ALGOL 스타일에 모듈러 프로그래밍을 지원
 모든 소스파일은 아래 두 가지로 구성됨
1. 라이브러리의 인터페이스를 정의하는 파일
2. 인터페이스를 구현한 하나 이상의 프로그램 파일
 Smalltalk, Interlisp 도 사용
Introduction
Environment (cont’d)

 분산 컴퓨팅을 좀 더 쉽게 할 수 있게 하자.
 지금까지는 통신 전문가들이 도맡아 해야 하는 어려운 일이었다.
(실제 많은 경험을 가진 연구자들도 당시 존재 하는 도구들을 이용해
분산 시스템을 구축하는 것은 매우 어려워함)
 강력한(?) 컴퓨팅 및 네트워크 파워를 활용하기 위해 분산 시스템은
필요했다.
 다른 통신 방식은 분산 시스템을 구축하는데 있어 많은 제약을
가져왔다.
 RPC 를 사용하면, LPC 를 사용하는 것과 같아서 분산 컴퓨팅에 보다
쉽게 접근할 수 있게 될 것이다.
 RPC 가 불필요한 부분에서의 어려움을 제거하는데 도와줄 것이다.
(분산 컴퓨팅의 주요 문제들은 제외 하더라도… 타이밍 문제, 특정
구성 요수의 독립적인 오류 문제 및 독립된 실행 환경이 공존하는
환경등)
Introduction
Aims

 RPC 의 효율을 높이자!
 쉽게 접할 수 있는 Semantic 을 유지하면서, 효율적으로
 암호화된 통신 지원
 비밀 번호가 clear-text 로 네트워크상을 떠돌게 하지
않겠다. (물론 이전에도 유사 연구들이 있었지만, RPC
에는 적용되지 않았다)
Introduction
Aims (cont’d)

 Message Passing 을 쓰는 것도 괜찮은 대안
 그러나, Mesa 의 인터페이스 정의와 구현이 분리 되어 있는 모듈러
프로그래밍 방식은 RPC 에 매우 적합했다.
 Shared Address Space 는 고려하지 않았다.
 Network 로 연결된 컴퓨터들간에 Shared Address Space 를 Emulate 하는
것은 보류한다.
1. 원격지의 주소임을 현재 프로그래밍 언어에서 구분할 수 있는
방법이 있을지에 대한 의문
2. 과연 그것이 정말 효율 적인 것일지에 대한 의문
 Local Procedure Call 과 같은 semantic 이 되도록!!
 Timeout 이 사용자 함수에 노출되지 않도록 한다.
Introduction
Fundamental Decisions

 User
클라이언트 프로그램 (함수 사용자)
 User-stub
 Parameter Marshalling,
Return value Un-marshalling
 RPC Runtime
 Retransmission, ack, routing, encryption
 Server-stub
 Parameter Un-marshalling
Return value marshalling
 Server
서버 프로그램 (함수 제공자)
Introduction
Structure

 Lupine – Mesa interface modules
 “Stub” 을 생성하는데 사용하는 도구
 Program Module 구현: Export / Import
 user = import, server = export
 개발자는,
user/server code 만 구현, 인자에 call by reference 안
쓰도록 주의(Lupine 도 체크함),
기계 또는 연결 오류 예외 처리 필요
Introduction
Structure (cont’d)

 무엇을 하고 싶은 거지?
 Naming
 어떻게 찾아가지?
 Location
Binding
What it is,
User Server
RPC Runtime
Stub Stub
Binder

 Naming
 Representation
 <Type, Instance>
 Type
 어떤 종류의 서비스를 사용하고 싶은지
 Instance
 어떤 머신에서 서비스를 받고 싶은지
ex) <Mail Server, John’s Mail Server>
Binding
Naming

 Location
 Grapevine distributed database!!!
 Widely & Reliably available.
 Database Entry 를 찾지 못한 적이 없었다.
 Grapevine DB 말고 다른 대안이 있었으나,.
 원격 서버의 주소를 프로그램에 직접 쓰는 방법
 대부분의 app 이 항상 서버와 먼저 bind 되어있어야 했다.
 브로드캐스팅을 통해 서버를 찾는 방법
 여러 서버가 불필요하게 대기 상태로 유지되어야 했다.
Binding
Location

 RName
 Entry 의 Key string
 두 종류의 Entry
 Individuals
 Groups
 Entry 의 여러 속성 중 종류에 따라서,
 Individual Entry : Connect Site 만 본다. (Network Address)
 Group Entry : Member List 만 본다. (List of RName)
Binding
Grapevine Distributed DB

 RPC Package 는 두 가지 Entry 만 쓴다.
 Type Entry & Instance Entry
(Naming 이 <Type, Instance> 의 형식이므로)
 Instance entry
 Individual Entry 의 connect-site 속성
 Type entry
 Group Entry 의 member-list 속성
Binding
Grapevine Distributed DB (cont’d)

Binding
Grapevine Distributed DB (cont’d)
• FileAccess.Alpine type is exported by Ebbets.Alpine(3#22#)
and Luther.Alpine(3#276#)
• Group entry (Type)
• { FileAccess.Alpine, (Ebbets.Alpine, Luther.Alpine) }
• Individual entry (Instance)
• { Ebbets.Alpine, 3#22# }
{ Luther.Alpine, 3#276# }
• Ex) <FileAccess.Alpine, Ebbets.Alpine>

Sequence of Binding & Call
import
[A, B]
import
[A, B]
GetConnect Lookup
Bind[A,B]
RPCRuntime RPCRuntime Server-stub ServerUser-stubUser
Export
[A, B]
Export
[A, B, …]
Record in
Table;
SetConnectDo update
Add memberDo update
Return
Table
Lookup
Record
result
return
Local
Call
Pack
Argument
Transmit Receive &
Check UID
in table
Unpack
Argument
Call
Return
Pack
ResultTransmitReceive
Unpack
Argument
Local
Return
Caller Machine Grapevine DB Callee Machine

 Export Interface
 RPCRuntime::ExportInterface
(type, instance, procedure)
 Lookup Table – Small Size Array
 (Interface Name, Procedure, UID)
 Export 되는 Procedure 정보의
Type/Instance/Proc 정보를
Callee 의 RPCRuntime 내 Table
에 저장 (Lookup Table)
Export Interface

 Import Interface
 RPCRuntime::ImportInterface
(Type, Instance)
Instance 를 지정하지 않으면, Grapevine DB 에서 찾는다.
Instance 가 주소가 될 수 도 있다.
그 경우 DB 거치지 않고 바로
사용한다.
 Grapevine DB 에서 Instance 찾기
 Instance 와 Binding
 Callee 의 Lookup Table Index 와
UID 반환
 Export 되어 있지 않으면 에러
Import Interface

 RPC steps
 User 에서 Stub Procedure 호출
 Stub 내부에서 Binding 을 먼저 진행 함.
 Parameter 와 Prcecedure 정보를 Packing
 RPC Runtime 을 통해 Server 로 전달
 Server Stub 은 Table Index 와 UID 로 Call 유효성 확인
 Parameter Unpacking 후 Server Procedure 호출
 Return value 를 Server-stub 에서 packing 하여 user 로 전달
 User stub 은 전달 받은 return value 를 unpacking 한 후 user 로
전달
RPC Steps

 Importer/Exporter 구조
 Server 는 User crash 의 영향을 받지 않음
 User (stub) 는 Server crash (Restart) 인지
UID 변경으로 Server 상태인지 가능 (Binding 끊어짐)
 UID 대신 함수 주소를 직접 사용
 보안 위험
(임의의 주소에 있는 함수에 접근 가능성 있음)
 Grapevine DB 를 Update 할 수 있는 대상 제한
 보안성 높임
 Entry 정보는 인증된 Server 만 수정할 수 있도록
Discussion

 Server 에서 명시적으로 Procedure 가 먼저 Export
되어야 한다.
 User 가 Import 시점을 동적으로 결정할 수 있다.
 필요할 때 Import
 Binding Time 을 자유롭게 결정할 수 있다.
 1. Name 에서 Instance 를 쓰지 않으면 동적 할당
2. RName 을 써서 Server 가 Export 할 때 까지 지연
3. 직접 지정해서 Compile 시 고정
Discussion (Cont’d)

 다양한 통신 프로토콜을 사용할 수 있었으나, 모두
만족하지 못함
 PUP Byte stream protocol (또는 Xerox NS Sequenced
packet protocol) 이용
 이전 다른 실험에서 PUP Byte streams 과 Xerox NS
“Courier” RPC Protocol 을 이용
 Grapevine protocol: RPC 와 유사하며 PUP Byte steams
을 사용
Packet level transport protocol
Requirements

 새로운 프로토콜의 설계
 Call 에서 Return 까지 실제 걸리는 시간을 최소화
 연결을 위해 최소한의 state 정보와 handshaking
 Call & Return Pair 보장
(No return: Exception 으로 처리하나, Caller 는 Crash 인지
연결 문제인지는 모름)
 timeout 인자가 user 에게 노출 되지는 않음.
 crash 나 연결 문제시에는 함수 호출 처리를 중단 (exception)
Remote Procedure 의 Infinite Loop / Dead lock 은 고려 안 함
(Local procedure call 과 같은 맥락)
Requirements (cont’d)

 Simple Call .vs. Complicated Call
 Simple Call
모든 인자와 필요 정보가 한 패킷 안으로 구성
함수의 리턴 값과 필요 정보도 한 패킷으로.
 Complicated Call
한 패킷으로 구성이 안될 때
Call

Call
Simple Call
call
retransmission
return
ack
call
Call Identifier = Activity
1. 결과 패킷 구분
2. 중복된 호출 패킷에 대한 예외 처리
Activity  <MachineID, ProcessID, SeqNo>
• Call 에 대한 Ack 는 Return 으로 대체
• Return 에 대한 Ack 는 다음 Call 로 대체
• Call 에 대한 Return 이 일정 시간 안에
오지 않으면 RPC Runtime 이 재전송
• Return 이 후 새로운 Call 이 일정 시간
안에 오지 않으면 RPC Runctime 이 Ack

 Connection
 Caller 와 Callee 사이의 공유된 상태 정보
(다른 프로토콜 들은 two-paired handshake 가 필요)
 이 논문은 Call packet 받으면 암묵적으로 connection 성립
 Active Connection
 정의
1. 진행 중인 Call 이 있을 때
2. return 에 대한 Ack 대기 중
 Caller 와 Callee 가 공유중인 연결 상태 정보가 있음.
 Idle Connection
 Server 가 SeqNo (Activity 중복 방지용) 만 유지
Call
Simple Call

 Idle connection 유지를 위한 ping 은 없다
 Disconnection 은 마지막 Ack 로 부터 일정 시간 (예를
들어 5분뒤 …) 이 지난 후 server 에서 state 정보를
지우는 것이다.
 간단하긴 한데….
call 해 놓고 return 을 기다리는데,
서버 Crash 로 응답하지 못하는 상황이라면?
Call
Simple Call

 앞서 binding 에 사용했던 UID (table lookup) 이
있어서, server restart(crash) 를 인지 할 수 있으므로,
caller 가 retransmit 을 하는 경우는 방지할 수 있다.
 user 가 재 시작되어도, activity 의 seqNo 가 중복
사용되는 경우는 없게 하여 서버가 call packet 을
discard 시키는 경우는 없게 한다.
 SeqNo 는 Monotonic time 을 사용한다.
Call
Simple Call

 Probe packet.
 Call 해 놓고 return 기다리는데, 너무 오래 걸리는 지를
확인하기 위해서, 살아 있냐고 확인 패킷을 주기적으로
보낸다.
 보내기 시작 하는 시점은?
 기기간 round-trip 시간 보다 조금 더 뒤 부터
 보내는 주기는?
 점진적으로 늘려가다가 10분 뒤부터는 5분 주기로 보내게
된다
 Communication Level 의 Failure 를 detect 하는 용도임
Callee 의 deadlock 상태를 detect 하는 용도가 아님
Call
Complicated Call

Call
Complicated Call (sequence)
Caller Machine Callee Machine
User RPC + Stub ServerRPC + Stub
call
Send call pkt
Wait for ack
Start arg record
Build next pkt
Acknowledge
wait next pkt
inovke call
Transmit it
Wait for pkt
Retransmit
Wait for ack
Wait for result
return
acknowledge
acknowledge
Send result
Wait for ack
Retransmit
Wait for ack
idle
Do call
return
Call[callid, pkt=0, plzAck, …]
Ack[CallID, Pkt=0]
Data[callid, pkt=1, dontAck, …]
Data[callid, pkt=1, plzAck, …]
Ack[CallID, Pkt=1]
Result[CallID, Pkt=2,dontAck, ..]
Result[CallID, Pkt=2,plzAck, ..]
Ack[CallID, Pkt=2]

 Call 이 N 개의 Packet 으로 구성되는 경우, N – 1 개의
Packet 까지는 Ack 를 요청한다.
 마지막 N 번째 Packet 은 Return Packet 으로 Ack 를
대체한다.
 Call 이 후 Return 까지 시간이 오래 걸리는 경우, 마지막
Packet 을 Retransmission 하는데, 이 때는 Ack 를 요청한다.
 Return 을 보낸 후 일정 시간 안에 다음 Call 이 없는 경우,
Return packet 을 Retransmission 하되 Ack 를 요청한다.
Call
Complicated Call (sequence)

 Mesa – “Catch” phrase.
 Java 나 C++ 의 try-catch 와 유사
 Exception 이 발생하면, Signal 을 통해 알림
Signal 이 발생하면, Catch 구문이 실행 됨
 RPC 도 같은 동일한 맥락으로 처리함
 RPC 에서 Callee 수행 도중 Exception 이 발생하면,
Result packet 에 Exception 정보를 담아 Caller 에게 전달.
 Caller 의 RPC Runtime 은 Exception 정보 에 맞는 Signal 을 생성
 Caller 의 Catch 구문을 찾아 처리
 Catch 구문이 있으면, 수행 결과를 callee 에게 전달
Catch 구문이 없으면, callee 가 unwind 처리 할 수 있도록 전달
 Exception 처리와 관련된 함수도 Server 에서 Export 해야 함
Exception handling

 Idle server process 들을 생성 해 둠
 Incoming packet 처리
 Call 처리가 끝나면 idle state 로 전환
(종료 하지 않음, 단 수가 많은 경우 종료 시킬 수 있음)
 Call Packet 은 Destination PID, Source PID 등의 정보를 가짐
 Ethernet Device Driver 에 Process 가 기다리는 packet 이 있음을
알려둔다.
 Incoming packet 이 등록된 특정 process 의 것이면, 바로 해당
프로세스로 전달한다.
 등록된 프로세스가 없다면, idle server 프로세스에게 보내서,
Ack 를 보낼지, Discard 시킬지, 새로운 Call 요청인지 처리.
Uses of processes

 NIC Device Driver 를 수정하여, RPC Packet 인 경우에는 일반
Network protocol S/W layer 를 bypass 시켜 최적화를 했다.
(Caller 와 Callee 가 같은 network 에 있는 경우)
 고려 했으나, 적용하지 않은 최적화들
 로컬 네트워크인 경우 인터넷 프로토콜을 쓰지 않을 수 도
있었다.
 Simple call 을 위해 특별한 프로토콜을 쓸 수 도 있었다.
 특별한 목적의 network microcode 도 쓸 수 있었다.
 RPC 통신이 아닌 것은 차단할 수 있었다.
 Busy-wait 으로 process switching 을 줄일 수 있었다.
  각각이 경우에 따라 좋지 못했기 때문에, 적용하지 않았다.
Other optimization

Implementing remote procedure calls rev2

Recommended

More Related Content

Viewers also liked (9)

Similar to Implementing remote procedure calls rev2 (20)

Implementing remote procedure calls rev2

Editor's Notes